ANCHOR: benchmark del ragionamento chain-of-thought ancorato a evidenze audiovisive

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) ottengono buoni risultati nelle domande e risposte su contenuti audiovisivi, ma una risposta corretta non implica necessariamente che il ragionamento da loro esposto sia fondato su evidenze percettive pertinenti. I benchmark esistenti valutano soprattutto l’accuratezza delle risposte finali e offrono indicazioni limitate sulla capacità delle spiegazioni generate dai modelli di individuare correttamente le regioni visive, gli intervalli temporali e gli eventi audio che sostengono le previsioni. Presentiamo ANCHOR, un benchmark e un quadro di valutazione per misurare quanto le spiegazioni siano ancorate alle evidenze nel ragionamento multimodale. Comprende 2.319 video e 8.272 coppie domanda-risposta con tracce di ragionamento strutturate, evidenze temporali, riquadri di delimitazione spaziali e indizi audio salienti, tra cui un set di test rivisto da esseri umani composto da 224 video e 975 coppie domanda-risposta. Misuriamo separatamente la correttezza delle risposte, le allucinazioni, la divergenza logica e la concisione, oltre a misurare direttamente l’ancoraggio spaziale e temporale in un sottoinsieme mirato. Sull’intero benchmark, dodici MLLM contemporanei mostrano un divario sostanziale nell’allineamento: modelli con prestazioni comparabili nelle risposte possono differire nettamente per il grado in cui le loro spiegazioni sono sostenute dalle evidenze annotate. In un sottoinsieme corrispondente di 100 video e 446 coppie domanda-risposta, le classifiche rimangono molto stabili usando riferimenti rivisti da esseri umani, generati da Gemini o generati da GPT (r medio di Pearson=0,99). Questo risultato fornisce, per tale sottoinsieme, evidenze contrarie all’ipotesi di circolarità tra modelli e riferimenti. Le prove di ablazione degli indizi di ancoraggio, condotte su tre MLLM nell’intero set di test rivisto da esseri umani, rivelano una gerarchia costante tra le modalità: eliminare il video riduce l’accuratezza di 38,4-41,8 punti, mentre eliminare i riquadri di delimitazione (3,2-7,7 punti) e l’audio (4,2-5,6 punti) provoca cali minori, complementari e dipendenti dal modello. Questi risultati mostrano che valutare soltanto le risposte nasconde importanti carenze nell’ancoraggio alle evidenze e fanno di ANCHOR un banco di prova per valutare l’accuratezza del ragionamento audiovisivo e il suo allineamento alle evidenze.