I benchmark multimodali sono davvero utili? Diagnosi a livello di item dei benchmark multimodali tramite calibrazione congiunta di struttura e risposta

Abstract degli autori

I benchmark multimodali sono fondamentali per valutare se i modelli sono in grado di ragionare su informazioni provenienti da più modalità. Tuttavia, la letteratura esistente ha rivelato che alcuni benchmark potrebbero contenere item scorciatoia, a cui si può rispondere usando una sola modalità o basandosi soltanto sulle regolarità delle opzioni di risposta, e che quindi non riflettono la reale capacità dei modelli di inferenza cross-modale. I metodi esistenti per valutare i benchmark si basano in genere sulla struttura intrinseca degli item oppure sul comportamento estrinseco dei modelli nelle risposte, e non sono adeguati per una diagnosi completa. Per colmare questa lacuna, proponiamo SRCoD, un framework diagnostico che calibra congiuntamente struttura e risposta per diagnosticare a livello di item la dipendenza dalle modalità nei benchmark multimodali. SRCoD stima, per ciascun campione, la struttura dell’informazione multimodale a partire dai contenuti del benchmark e dalle risposte attese, e usa questo segnale come ancora strutturale flessibile per modellare le risposte agli item in funzione delle modalità. Il modello appreso produce un profilo diagnostico calibrato a livello di item, che riflette quanto un item dipenda da diverse forme di evidenza modale e consente un’analisi più dettagliata dei benchmark, oltre la sola accuratezza aggregata. SRCoD fornisce inoltre un’attribuzione interpretabile dei risultati diagnostici. Esperimenti approfonditi condotti secondo due protocolli complementari — una validazione orientata al perfezionamento dei benchmark e una validazione degli item con etichette assegnate da esseri umani — dimostrano che SRCoD supera i metodi diagnostici per benchmark allo stato dell’arte.