EvaOmni: un benchmark basato sulle evidenze per il ragionamento audiovisivo

Abstract degli autori

Gli Omni LLM possono individuare naturalmente le evidenze audio e visive fondamentali e integrare informazioni provenienti da diverse modalità per il ragionamento audiovisivo. I benchmark esistenti per il ragionamento audiovisivo, basati principalmente su domande a scelta multipla, valutano di solito i modelli soltanto in base alla correttezza delle risposte. Diventa così difficile stabilire se un modello costruisca davvero un percorso di ragionamento che dalle evidenze conduca alla risposta corretta. Inoltre, scorciatoie testuali o basate su una sola modalità possono consentire ai modelli di rispondere correttamente senza analizzare le evidenze audiovisive necessarie, riducendo ulteriormente l’affidabilità dei benchmark di valutazione. Per affrontare questi problemi, presentiamo EvaOmni, un benchmark basato sulle evidenze che comprende 392 video e 1.027 coppie di domande e risposte annotate esclusivamente da esseri umani. Copre 15 capacità e tre livelli: ricerca e localizzazione, comprensione di base e ragionamento complesso. Abbiamo progettato una serie di rigorose procedure di annotazione: esperti annotano le evidenze audio e visive e costruiscono opzioni di risposta fuorvianti basate sui video; esseri umani verificano che le domande soddisfino rigorosi criteri di controllo; infine, i modelli filtrano le scorciatoie testuali e basate su una sola modalità. Oltre a coppie di domande e risposte di alta qualità, richiediamo ai modelli di restituire contemporaneamente la risposta e gli intervalli temporali delle evidenze che la sostengono, così da valutare l’intero percorso di ragionamento. Proponiamo il Coverage Grounded Score (C.G.) per misurare quanta parte delle evidenze annotate un modello individua e il Bottleneck Grounded Score (B.G.) per penalizzare una localizzazione temporale imprecisa in una delle due modalità; entrambi vengono integrati nella valutazione della correttezza delle risposte. Tra 7 Omni LLM a pesi aperti e 17 proprietari, Gemini3.7-Flash ha ottenuto i risultati complessivi più alti per accuratezza (79,4%), C.G. (70,8%) e B.G. (35,1%). Al livello 3 ha raggiunto un’accuratezza del 79,1%, ma il suo B.G. è stato soltanto del 12,3%. Questi risultati mostrano che anche i modelli più avanzati hanno ancora margini di sviluppo nel ragionamento audiovisivo basato sulle evidenze.