The Illusion of Oversight in Clinical AI: Human Out of the Loop?

Ensaio no Annals of Internal Medicine (Zhou, Willauer, Topol, Rajpurkar) argumentando que o 'human in the loop' na IA clínica persiste no papel mas se dissolve na operação: volume, viés de automação e modelos de negócio tornam a revisão por decisão impossível. Propõe um teste funcional de autonomia (se a inação do médico vira ação, o sistema é autônomo) e mostra que o modelo atual serve mais para distribuir responsabilidade, concentrada no médico, do que para garantir segurança.

Referência

Autores: Zhou CY, Willauer A, Topol EJ, Rajpurkar P
Ano: 2026
Venue: Annals of Internal Medicine, seção Ideas and Opinions
DOI / URL: DOI N/D; página do journal: https://www.acpjournals.org/journal/aim
Data: divulgado por Eric Topol no LinkedIn em 27/10/2026 (data exata online-first N/D)

Problema e Contexto

O ponto de partida é o piloto de Utah (abril/2026), o primeiro nos EUA a permitir que um sistema de IA renove legalmente prescrições de medicamentos crônicos não controlados, desenhado para migrar de revisão médica prospectiva de toda renovação para amostragem retrospectiva. O Conselho Médico de Utah pediu a suspensão imediata; o Escritório de Política de IA do estado negou, usando justamente a revisão médica obrigatória como prova de arquitetura segura. A lacuna: o 'human in the loop' é invocado como salvaguarda, mas ninguém testa se ele funciona na prática.

Hipótese / Objetivo

O loop persiste nominalmente enquanto se dissolve operacionalmente. O que sobra não é mecanismo de segurança, e sim mecanismo de distribuição de responsabilidade. Os autores defendem nomear isso com honestidade como pré-requisito para desenvolver IA clínica.

Método

Ensaio de opinião (não empírico). Argumentação apoiada em casos regulatórios, decisões judiciais, a analogia histórica com o laudo de ECG computadorizado e estudos sobre viés de automação, fadiga de alertas e carga de trabalho.

Resultados Principais (argumentos e números citados)

Teste funcional de autonomia: se a inação do médico faz o output da IA virar realidade (receita aviada, diagnóstico documentado), o sistema é operacionalmente autônomo, independentemente de como é classificado. Vários pontos do cuidado já cruzaram essa linha.
Utilization management: os maiores deployments estão em autorização de seguradoras; uma plataforma gerou negativas com média de 1,2 s de tempo médico por caso. Um tribunal federal rejeitou a tese...

Artigo