PRISM-BENCH: diagnosticare il ragionamento multimodale fondato sulle evidenze e fedele, oltre l’accuratezza della risposta finale

Abstract degli autori

L’accuratezza della risposta finale indica se un modello visivo-linguistico ha risposto correttamente, ma non se la risposta si fonda sull’immagine, se il ragionamento dichiarato riflette quelle evidenze o quanto è costato produrla. Sono queste le proprietà che determinano se un sistema può essere impiegato. Presentiamo PRISM-BENCH, un benchmark di 1.000 domande selezionate da esperti che coprono cinque categorie di ragionamento poco rappresentate. Ogni domanda è accompagnata da una traccia idealizzata del ragionamento, scritta da una persona e convalidata da un’altra. Le tracce consentono due analisi diagnostiche che la sola accuratezza non offre. Un test di percezione, in cui il modello risponde basandosi su una descrizione che ha scritto esso stesso, attribuisce circa l’85% degli errori dei modelli di frontiera a errori di percezione e individua nell’ancoraggio ai contenuti visivi il collo di bottiglia. L’allineamento delle tracce predice la correttezza delle risposte per tutti i 25 sistemi esaminati (AUROC macro 0,66) e resta valido anche tenendo conto della lunghezza: misura quindi il contenuto del ragionamento, non la prolissità. Introduciamo inoltre CORE, una metrica che tiene conto dell’efficienza e inverte l’ordine del 24,2% delle coppie di modelli rispetto alla sola accuratezza, pur non essendo correlata alla lunghezza delle risposte. Tra 25 sistemi aperti e chiusi, inclusi GPT-5 e Claude Opus 4.6, l’accuratezza migliore è del 66,0%. Nelle quattro categorie per cui è disponibile un riferimento umano, il sistema migliore ottiene 18,4 punti in meno rispetto agli esseri umani, e i recenti progressi dei modelli di frontiera riguardano il riconoscimento, non l’ancoraggio spaziale.