ProbabilityBench: valutazione e calibrazione dei modelli con un’incertezza reale nota con esattezza

Abstract degli autori

Valutare l’incertezza dei modelli su dati del mondo reale è difficile: per ogni istanza si osserva una sola etichetta, mentre le vere probabilità condizionate delle classi restano sconosciute. Per affrontare questo problema, presentiamo ProbabilityBench, un benchmark che fornisce probabilità esatte delle classi per ciascuna istanza in tre ambiti simulati basati su testi: revisione tra pari, trasferimento occulto di informazioni e rischio di credito. Definendo esplicitamente l’intero processo di generazione dei dati per ciascun ambiente, calcoliamo analiticamente sia le probabilità esatte delle classi sia l’errore di Bayes. Forniamo inoltre una garanzia teorica che la trasposizione di questi casi in note in linguaggio naturale preserva rigorosamente le probabilità del processo generativo sottostante. Questa esattezza permette di misurare direttamente, tramite la divergenza KL, la qualità delle probabilità dichiarate. Tra i 16 modelli valutati, la maggior parte di quelli che si trovano sulle frontiere di Pareto osservate tra costo e qualità è costituita da modelli decisionali, tra cui Jev e Perplexity Decider. Infine, ProbabilityBench funge da framework di meta-valutazione: sfrutta valori reali noti per valutare l’accuratezza delle stesse metriche standard di calibrazione e degli stessi stimatori dell’errore di Bayes.