DataVista: un’analisi diagnostica degli LLM multimodali nella comprensione dei video basati sui dati

Abstract degli autori

I video basati sui dati sono un formato che integra la visualizzazione dei dati con la narrazione video, ampiamente utilizzato nel giornalismo e nell’analisi aziendale. Rispetto alla comprensione dei video in generale, comprenderli richiede maggiore attenzione nel leggere con precisione i dati dai grafici animati, integrare le evidenze tra grafici diversi e nel tempo, e capire come l’organizzazione narrativa e la progettazione visiva comunicano le informazioni. I benchmark esistenti, però, riguardano i video in generale o i grafici statici, e la comprensione dei video basati sui dati non è stata valutata sistematicamente. Presentiamo DataVista, il primo benchmark per la comprensione dei video basati sui dati: contiene 961 video reali e 6.775 domande di valutazione, organizzate secondo un quadro progressivo di capacità su tre livelli (percezione dei dati, ragionamento temporale, comprensione narrativa), con 10 tipi specifici di domande in cinque ambiti tematici. La valutazione sistematica di 19 MLLM tra i più diffusi mostra che il modello con i risultati migliori, Gemini-3.1-Pro, raggiunge un’accuratezza complessiva del 70,0%, ancora molto inferiore alle prestazioni degli esperti umani. I risultati peggiori dei modelli riguardano il ragionamento causale e la struttura narrativa. Aumentare il numero di fotogrammi e aggiungere sottotitoli migliora soprattutto la percezione dei dati e il ragionamento temporale, con progressi limitati nella comprensione narrativa. Un’ulteriore analisi delle risposte dei modelli individua errori ricorrenti nella lettura dei grafici, nella valutazione delle evidenze e nella comprensione delle istruzioni. Il benchmark è disponibile all’indirizzo https://github.com/HKUSTDial/DataVista.