Il tuo benchmark è una misura empirica sulla difficoltà

Abstract degli autori

Un benchmark non è soltanto una raccolta di domande di verifica: definisce naturalmente una misura empirica sulla difficoltà. In questo lavoro sviluppiamo una prospettiva della valutazione dei benchmark basata su tale misura. Questo approccio ci permette di individuare e formalizzare due problemi fondamentali: il disallineamento della misura, che si verifica quando la distribuzione delle difficoltà nel benchmark differisce da quella prevista, e le lacune di copertura, che si verificano quando le regioni non coperte lungo la scala delle difficoltà impediscono ai benchmark di rilevare progressi significativi dell’addestramento in aree specifiche. Proponiamo due metriche diagnostiche che colgono questi problemi e offriamo rigorose garanzie teoriche. Sul piano empirico, analizziamo 25 benchmark diffusi in 7 ambiti, stimando con cura la difficoltà dei singoli quesiti. I risultati mostrano che molti benchmark attribuiscono implicitamente un peso eccessivo a determinate fasce di difficoltà: le conclusioni tratte dalle loro classifiche vanno quindi interpretate con cautela. Altri lasciano scoperte porzioni considerevoli della scala delle difficoltà, limitando la loro capacità di monitorare il processo di miglioramento del modello. Infine, passiamo dalla diagnosi all’intervento introducendo BenchFill, un semplice algoritmo che riscrive i quesiti in funzione della difficoltà e riduce efficacemente le lacune locali di copertura.