VideoMemBench: quanto bene ricordano gli MLLM nelle conversazioni video?

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) sono ormai in grado di elaborare video della durata di un’ora, rendendo naturale l’uso di un singolo video come base per un dialogo prolungato a più turni. Per sostenere un dialogo del genere non basta rispondere a ogni domanda isolatamente: il modello deve recuperare e riutilizzare le informazioni emerse in precedenza nella conversazione, sia ciò che ha visto sia ciò che ha detto. Chiamiamo questa capacità memoria video in-context. Gli attuali benchmark di video QA non misurano questa capacità: le loro domande sono indipendenti l’una dall’altra, non si richiamano mai a vicenda e ciascuna può essere risposta basandosi solo sul video, perciò non richiedono mai di mantenere informazioni tra un turno e l’altro. Presentiamo VideoMemBench, in cui ogni campione abbina un singolo video a un lungo dialogo a più turni, i cui turni sono collegati da dipendenze tipizzate tra turni: una dipendenza episodica rimanda a un episodio visivo descritto in un turno precedente, mettendo alla prova la memoria di ciò che il modello ha visto, mentre una dipendenza dalla risposta si basa su una risposta precedente del modello, mettendo alla prova la memoria di ciò che ha detto. Ogni dipendenza viene verificata in base a due proprietà: 1) necessità, ossia l’impossibilità di rispondere alla domanda senza i turni precedenti, e 2) assenza di leakage, ossia il fatto che la domanda non ripeta le informazioni dei turni precedenti. Per garantire queste proprietà, progettiamo una pipeline di costruzione con tre ruoli affidati a LLM: pianificatore, generatore e giudice; ogni dialogo viene inoltre esaminato da esperti umani. VideoMemBench comprende 326 video e 2.476 turni, di cui 1.387 dipendono da turni precedenti; include anche dipendenze con più turni genitori e richiami a turni molto distanti. Tra gli oltre 20 MLLM open source e closed source valutati, Claude Opus 5 ottiene il risultato migliore, con un punteggio complessivo di appena il 45,7%, a sottolineare la difficoltà della memoria video in-context. Il nostro dataset e la valutazione sono disponibili.