A machine learning system to optimise triage in an adult ophthalmic emergency department: a model development and validation study

Abstract

Contexto: Uma proporção substancial de atendimentos em departamentos de emergência oftalmológica são para apresentações não urgentes. Desenvolvemos e avaliamos um sistema de aprendizado de máquina (DemDx Ophthalmology Triage System: DOTS) para otimizar a triagem, com o objetivo de reduzir atendimentos de emergência inadequados e agilizar o encaminhamento de casos quando necessário. Métodos: O DOTS foi construído usando dados tabulares retrospectivos de 11.315 atendimentos entre 1º de julho de 2021 e 15 de junho de 2022 no Moorfields Eye Hospital Emergency Department (MEH) em Londres, Reino Unido. Características demográficas e clínicas foram usadas como entradas e uma recomendação de triagem foi dada (“ver imediatamente”, “ver dentro de uma semana” ou “ver eletivamente”). O DOTS foi validado temporalmente e comparado com o desempenho dos enfermeiros de triagem (1269 atendimentos no MEH) e validado externamente (761 atendimentos na Universidade Federal de Minas Gerais - UFMG, Brasil). Também foi testado para vieses e robustez a variações em incidências de doenças. Todos os atendimentos de pacientes com idade mínima de 18 anos com pelo menos um diagnóstico confirmado foram incluídos no estudo. Resultados: Para identificar atendimentos de emergência oftalmológica, na validação temporal, o DOTS teve uma sensibilidade de 94,5% [IC 95% 92,3–96,1] e uma especificidade de 42,4% [38,8–46,1]. Para comparação dentro do mesmo conjunto de dados, enfermeiros de triagem tiveram uma sensibilidade de 96,4% [94,5–97,7] e uma especificidade de 25,1% [22,0–28,5]. Na validação externa na UFMG, o DOTS teve uma sensibilidade de 95,2% [92,5–97,0] e uma especificidade de 32,2% [27,4–37,0]. Em cenários simulados com incidências de doenças variáveis, a sensibilidade foi ≥92,2% e a especificidade foi ≥36,8%. Não foram encontradas diferenças na sensibilidade em subgrupos de índice de privação múltipla, mas a especificidade foi maior para Q2 quando comparado a Q4 (Q4 é menos privado que Q2). Interpretação: No MEH, o DOTS teve sensibilidade semelhante aos enfermeiros de triagem na determinação da prioridade de atendimento; no entanto, com uma especificidade de 17,3% maior, o DOTS resultou em taxas menores de pacientes triados para serem atendidos imediatamente na emergência. O DOTS mostrou desempenho consistente na validação temporal e externa, em subgrupos sociodemográficos e foi robusto a incidências relativas de doenças variáveis. Mais ensaios são necessários para validar essas descobertas. Este sistema será avaliado prospectivamente, considerando a interação humano-computador, em um ensaio clínico.