Fairness Metrics based on the AUC in Clinical Predictive AI

Os autores analisam oito métricas de fairness baseadas na AUC (paridade intragrupo, xAUC, gap-to-overall, equity-scaled, mínimo, xAUC1/xAUC0) à luz da não-colapsibilidade da AUC. Recomendam reportar a matriz de AUC completa e usar a paridade de AUC intragrupo como métrica primária; xAUC parity e xAUC1/xAUC0 só com cautela, e gap-to-overall, equity-scaled e mínimo não são recomendados. Importa porque comparar AUC de subgrupos com a AUC global pode levar a conclusões enganosas sobre equidade.

Referência

Autores: Matos, J.; Van Calster, B.; Riley, R. D.; et al. (Dhiman, P.; Collins, G. S.)
Ano: 2026
Venue: arXiv (cs.LG), v1, 3 nov 2026 · formato ACM, 18 páginas
DOI / URL: https://arxiv.org/pdf/2611.05222

Problema e Contexto

A avaliação de fairness em modelos de predição clínica com desfecho binário costuma comparar a AUC (c-statistic) entre subgrupos. Só que a AUC é uma métrica não-colapsível: o valor global não é uma média ponderada dos valores por subgrupo, porque a AUC considera todos os pares evento/não-evento, inclusive os de subgrupos diferentes. Isso significa que AUC global e AUC por subgrupo não são diretamente comparáveis, como muitas métricas de fairness implicitamente assumem. As implicações disso para as métricas AUC-based não tinham sido examinadas de forma sistemática.

Hipótese / Objetivo

Caracterizar os estimandos de oito métricas de fairness baseadas na AUC, relacioná-las à decomposição da AUC global em componentes intragrupo e entre grupos (cross-group), avaliá-las criticamente e orientar quando são informativas e como interpretá-las.

Método

Decomposição formal: a AUC global é escrita como soma ponderada de todas as AUC_ij (probabilidade de um evento do subgrupo i ter probabilidade estimada maior que um não-evento do subgrupo j). Intragrupo (i = j) e cross-group, xAUC (i ≠ j). Para dois subgrupos: AUC_A, AUC_B, xAUC_A,B e xAUC_B,A, com pesos dados pelas proporções de eventos e não-eventos.
Matriz de AUC: linhas = subgrupo do indivíduo com evento, colunas = subgrupo do indivíduo sem evento; diagonal = AUC intragrupo, fora da diagonal = xAUC.
Oito métricas avaliadas: (1) paridade de AUC intragrupo, |AUC_A − AUC_B| (e variante em razão); (2) paridade de xAUC, |xAUC_A,B − xAUC_B,A|; (3) gap-to-overall, |AUC − AUC_g|; (4) equity-scaled AUC, AUC / (1 + paridade); (5) métricas baseadas no mínimo,...

Fairness Metrics based on the AUC in Clinical Predictive AI

Referência

Autores: Matos, J.; Van Calster, B.; Riley, R. D.; et al. (Dhiman, P.; Collins, G. S.)
Ano: 2026
Venue: arXiv (cs.LG), v1, 3 nov 2026 · formato ACM, 18 páginas
DOI / URL: https://arxiv.org/pdf/2611.05222

Problema e Contexto

Hipótese / Objetivo

Método

Decomposição formal: a AUC global é escrita como soma ponderada de todas as AUC_ij (probabilidade de um evento do subgrupo i ter probabilidade estimada maior que um não-evento do subgrupo j). Intragrupo (i = j) e cross-group, xAUC (i ≠ j). Para dois subgrupos: AUC_A, AUC_B, xAUC_A,B e xAUC_B,A, com pesos dados pelas proporções de eventos e não-eventos.
Matriz de AUC: linhas = subgrupo do indivíduo com evento, colunas = subgrupo do indivíduo sem evento; diagonal = AUC intragrupo, fora da diagonal = xAUC.
Oito métricas avaliadas: (1) paridade de AUC intragrupo, |AUC_A − AUC_B| (e variante em razão); (2) paridade de xAUC, |xAUC_A,B − xAUC_B,A|; (3) gap-to-overall, |AUC − AUC_g|; (4) equity-scaled AUC, AUC / (1 + paridade); (5) métricas baseadas no mínimo,...