OmniCompass: un benchmark completo per la localizzazione e la comprensione omnimodale dei video

Abstract degli autori

Con il rapido sviluppo dei grandi modelli linguistici multimodali (MLLM), valutare le loro capacità di comprensione dei video è diventato sempre più importante. I benchmark esistenti per la comprensione dei video coprono solo una parte delle dimensioni di valutazione, limitando la possibilità di diagnosticare in modo sistematico le capacità di comprensione omnimodale dei video. Presentiamo OmniCompass, un benchmark completo per la localizzazione e la comprensione omnimodale dei video. OmniCompass definisce due percorsi di valutazione: OmniCompass-VL valuta i modelli visivo-linguistici su compiti che richiedono evidenze visive, mentre OmniCompass-AV valuta i modelli omnimodali su compiti che richiedono evidenze audio e visive congiunte. Ogni percorso comprende tre compiti complementari: localizzazione temporale (TG), localizzazione spaziale (SG) e risposta a domande (QA), per valutare quando compare un elemento indicato, dove si trova e che cosa accade. In OmniCompass-VL, QA copre cinque categorie di percezione e tre di ragionamento; in OmniCompass-AV, tre categorie di percezione e due di ragionamento. OmniCompass-VL contiene 820 video e 2.460 istanze appartenenti a diversi ambiti e a tre fasce di durata: breve, media e lunga. Un sottoinsieme ricco di narrazione e audio costituisce OmniCompass-AV, con 240 video e 720 istanze. Ogni istanza è valutata in due modalità abbinate, solo testo e testo+immagine, che specificano lo stesso elemento mediante indicazioni testuali e visivo-linguistiche. Tutte le istanze sono annotate manualmente e sottoposte a più cicli di verifica della qualità. Le valutazioni di 50 MLLM mostrano che i modelli open source sono ancora indietro rispetto a quelli proprietari, soprattutto nella comprensione audio-visiva. La localizzazione temporale e spaziale precisa resta difficile anche per i modelli più avanzati, le cui previsioni continuano a presentare incongruenze tra le due modalità abbinate di specificare l’elemento.