Artigo
Mesma pergunta, respostas diferentes: 6 LLMs mudam o conselho para parar de fumar conforme quem pergunta
Auditoria de seis LLMs de quatro empresas com as mesmas quatro perguntas sobre cessação do tabagismo feitas por 12 personas, em 2.880 respostas. Todos os modelos citaram menos os medicamentos aprovados pela FDA para personas adolescentes (32 a 67 pontos percentuais a menos), e em cinco dos seis quem se apresentava como profissional de saúde recebeu menos fatos. Um prompt de sistema com um 'piso factual' reduziu as diferenças, mas o efeito variou entre modelos.
Referência
-
Autores: Yousefi A, Aiersilan A, Abroms LC, Broniatowski DA
-
Ano: 2026
-
Venue: Proceedings of the Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026); arXiv 2610.42039
-
DOI / URL: https://doi.org/10.1609/aies.v9i4.43352 · https://arxiv.org/abs/2610.42039
Problema e Contexto
Centenas de milhões de pessoas pedem conselho de saúde a chatbots. A pergunta simples de fazer e difícil de responder é se todo mundo recebe o mesmo conselho, ou se o modelo muda o conteúdo conforme quem parece estar perguntando.
Hipótese / Objetivo
Medir a variação, dependente da persona, nas respostas sobre cessação do tabagismo (área com diretriz clínica clara e grande impacto em saúde pública) e testar uma intervenção simples para reduzi-la.
Método
-
Seis LLMs amplamente usados, de quatro empresas
-
Quatro perguntas sobre parar de fumar feitas por 12 personas que variam em fase da vida, autodeclaração de conhecimento em saúde e histórico de tabagismo, total de 2.880 respostas
-
Intervenção: um prompt de sistema curto definindo um piso factual, o conjunto de fatos médicos essenciais que todo usuário deve receber quando relevantes, deixando livres o tom e o vocabulário
Resultados Principais
-
Todos os modelos citaram os medicamentos de cessação aprovados pela FDA menos vezes para personas adolescentes do que para adultas, com diferença de 32 a 67 pontos percentuais
-
Em cinco de seis modelos, a persona que se apresentava como profissional de saúde recebeu menos fatos do que a que não se apresentava
-
O piso factual reduziu as diferenças entre personas em todos os modelos, mas o efeito na cobertura geral de fatos variou em tamanho e direção: um prompt validado num modelo não transfere automaticamente para outro
-
Respostas e código de análise liberados
Limitações
- Mencionar igualmente nem sempre...