Dove è mal calibrato un modello predittivo e per chi? Audit locali in gruppi appresi in base agli esiti

Abstract degli autori

Le medie complessive e per gruppo, insieme a metriche di ranking come l’AUC, possono celare insiemi di osservazioni per i quali un modello predittivo sovrastima o sottostima sistematicamente. Presentiamo un audit che individua dove un modello è mal calibrato (in quali insiemi di osservazioni simili sovrastima o sottostima in media) e per chi (se il suo errore medio di previsione differisce tra gruppi demografici, per esempio in base alla razza o al sesso, all’interno dello stesso insieme). L’audit raggruppa le osservazioni in sottoinsiemi usando la similarità basata su random forest, che pesa ciascuna caratteristica in base alla sua importanza nel prevedere l’esito; affianca a questo metodo un raggruppamento tramite regressione ridge. I sottoinsiemi vengono appresi su un campione e testati su un altro, usando intervalli di confidenza simultanei che ammettono correlazioni all’interno di unità come gli ospedali; l’audit richiede soltanto caratteristiche, esiti e predizioni fissate. In 17 scenari di simulazione con un errore introdotto per un gruppo, l’audit combinato lo ha individuato meglio del metodo di raggruppamento alternativo più efficace in 15 scenari, con tassi di falsi allarmi vicini o inferiori al 5%; con un errore locale introdotto per tutti, ha ottenuto i risultati migliori in 12 dei 15 scenari quando l’errore era più contenuto, ma ha perso quando l’errore non era correlato all’esito. Nei dati sintetici pubblici dell’algoritmo di gestione delle cure studiato da Obermeyer et al., non ha rilevato errori complessivi, ma ha individuato una sottostima della malattia nei sottoinsiemi con i pazienti più gravi e una sovrastima altrove; ha inoltre distinto la concentrazione di pazienti neri nei sottoinsiemi in cui il punteggio sottostimava per tutti da un divario tra pazienti neri e bianchi all’interno dei sottoinsiemi. Per APACHE IVa, un’analisi esplorativa ha localizzato la sovrastima della mortalità in terapia intensiva segnalata in precedenza in un sottoinsieme composto perlopiù da pazienti ventilati e in uno a basso rischio, senza rilevarla in uno a rischio moderato. Due classificatori di radiografie del torace hanno mostrato errori locali compensativi, dietro i quali non era rilevabile alcun errore complessivo. Codice: https://github.com/modenesi/pocket-audit