DramaVQA: mettere alla prova la comprensione dettagliata di serie TV ultralunghe

Abstract degli autori

Nonostante i recenti progressi nella comprensione di video di lunga durata, gli attuali benchmark si concentrano soprattutto su brevi clip o video della durata di ore. Rimane così una lacuna importante nella valutazione della comprensione di video ultralunghi, che spesso durano decine di ore. Per colmarla, presentiamo DramaVQA, un benchmark su larga scala basato su serie TV di lunga durata. Con circa 20.000 coppie domanda-risposta (QA), DramaVQA ha dimensioni superiori di un ordine di grandezza a quelle dei precedenti dataset di video di lunga durata, come Video-MME e LVBench. Il nostro benchmark presenta due caratteristiche principali che lo distinguono dai dataset esistenti. In primo luogo, abbiamo definito una pipeline di annotazione scalabile, assistita da LLM, che utilizza modelli linguistici di grandi dimensioni multimodali (MLLM) per generare domande complesse, seguite da rigorosi controlli umani per garantire un’elevata qualità dei dati. In secondo luogo, DramaVQA introduce una struttura temporale multilivello: le domande sono formulate su video di diversa durata e quelle più difficili richiedono una comprensione complessiva dell’intera serie. Valutazioni approfondite mostrano che i modelli MLLM allo stato dell’arte incontrano notevoli difficoltà quando vengono testati su video così lunghi, evidenziando la necessità di algoritmi di IA agentica in grado di gestire la memoria a lungo termine. Il progetto è disponibile all’indirizzo https://github.com/xinyuehuo/DramaVQA