Artigo
Framework estatístico para medir repetibilidade e reprodutibilidade de LLMs
Os autores propõem quatro métricas, semânticas e internas, e o pacote Python llmReproScore para quantificar a variabilidade das respostas de LLMs. As métricas semânticas se alinharam às avaliações humanas (Spearman 0,88 para repetibilidade e 0,66 para reprodutibilidade), testadas em questões do USMLE e em 90 casos reais de doenças raras da Undiagnosed Diseases Network. A repetibilidade geralmente não se associou à acurácia, o que sugere dimensões distintas de desempenho.