Lasciare cambiare la confidenza, non la predizione: correzione a posteriori che preserva la predizione

Abstract degli autori

La calibrazione a posteriori corregge la confidenza dichiarata, ma un calibratore multiclasse può anche cambiare la predizione top-1 associata. L’accuratezza coglie soltanto l’effetto netto di questi cambiamenti sulla correttezza delle predizioni, non la frequenza con cui cambiano; il Top-1 Prediction Change Rate (TPCR) misura invece questa frequenza. Proponiamo Calibrator-Output Repair for Top-1 Decision Preservation (CORD), il primo adattatore applicato dopo l’addestramento del calibratore che impone l’esatta conservazione della predizione correggendo l’intero vettore delle probabilità calibrate. Utilizzando soltanto gli output originali e quelli calibrati, CORD determina la massa da assegnare alla classe top-1 originale. La distribuzione condizionata calibrata ripartisce la massa restante tra le altre classi, producendo un vettore corretto il cui argmax restituisce la predizione originale. Sulla porzione di dati destinata alla calibrazione, CORD coordina le masse corrette per mantenere, quando possibile, la massa media che gli output calibrati assegnano alle predizioni originali. L’adattatore non modifica né il calibratore addestrato né il suo output diretto, non addestra alcuna mappatura supervisionata aggiuntiva e non richiede iperparametri regolati dall’utente o sulla base della validazione. Su CIFAR-10/100 e ImageNet-1K, CORD raggiunge per costruzione un TPCR pari a zero e riduce i valori medi di ECE, NLL e Brier rispetto ai corrispondenti output diretti in ogni dataset; i miglioramenti nei confronti a coppie persistono anche in presenza di uno spostamento della distribuzione e al variare delle dimensioni del set di calibrazione. CORD separa così il vincolo di conservazione dall’addestramento del calibratore e affida l’esatto ripristino della decisione originale alla successiva correzione dell’output. Il nostro codice è disponibile all’indirizzo https://github.com/labhai/CORD.