Artigo
Sequential diagnosis with language models (Science, capa AI in Medicine)
Paper de capa da Science de 22/10/2026 ("AI in Medicine", vol. 394, p. 423-428), da Microsoft AI. Apresenta o SDBench, que transforma 304 casos clínico-patológicos do NEJM e 325 atendimentos de PS do MIMIC-IV-ED em diagnóstico passo a passo, e o orquestrador multiagente MAI-DxO. Com GPT-5, o sistema chegou a 83% de acurácia nos casos NEJM (médicos generalistas: 22% a 36%) e 80% no PS (médicos: 47%), com custo de exames menor nas configurações econômicas. A avaliação é em simulação, contra médicos isolados e sem especialistas.
Referência
-
Autores: 15 autores da Microsoft AI, entre eles King D, Horvitz E e Suleyman M (lista completa no DOI)
-
Ano: 2026
-
Venue: Science, vol. 394, n. 6822, p. 423-428 (capa da edição de 22/10/2026, "AI in Medicine: Guiding a clinical workup to reach a diagnosis")
-
DOI / URL: 10.1126/science.aeh7930
-
Histórico: recebido 04/04/2026, aceito 10/08/2026, publicado 22/10/2026
Problema e Contexto
Benchmarks de LLMs médicos (USMLE, MedQA) entregam o caso inteiro de uma vez e pedem uma resposta única. Na prática, o diagnóstico é sequencial: o médico decide o que perguntar, que exame pedir e como cada achado muda as hipóteses, pesando custo. Faltava uma forma de medir esse caminho, e não só a resposta final.
Hipótese / Objetivo
Criar um benchmark interativo de diagnóstico sequencial com custo (SDBench) e mostrar que um orquestrador agnóstico ao modelo, que simula um painel de especialistas, supera tanto LLMs isolados quanto médicos generalistas em acurácia e em custo de exames.
Método
-
SDBench: 304 casos clínico-patológicos (CPC) do NEJM e 325 atendimentos de pronto-socorro do MIMIC-IV-ED, convertidos em diagnóstico interativo passo a passo.
-
Gatekeeper: agente que responde às perguntas e pedidos de exame, e gera resultados sintéticos neutros quando o achado não está no caso.
-
Judge: agente que pontua o diagnóstico final numa rubrica de 5 níveis (4 ou 5 = correto).
-
Custo: preço estimado de cada exame por códigos CPT, com a tabela de preços padrão da Kaiser Permanente Washington.
-
MAI-DxO (DxO no paper): orquestrador que simula um painel de médicos com papéis complementares, escolhe exames considerando custo e agrega diagnósticos de várias execuções independentes. Testado com vários modelos base, incluindo GPT-5.
-
Comparação com médicos: 56 casos reservados, em condição sem consulta (closed-book) e com consulta...