Più memoria, video migliori? Uno studio controllato sulla memoria visiva nella generazione di video lunghi

Abstract degli autori

I generatori di video lunghi recuperano sempre più spesso osservazioni visive precedenti per evitare che l’identità dei soggetti cambi nel tempo. L’idea è convincente: un maggiore accesso al passato dovrebbe rendere più coerente il video successivo. Ma un’immagine può essere fedele al passato e sbagliata per il presente. La memoria visiva migliora sempre la storia generata? Esaminiamo la questione con VMem-Bench, uno studio diagnostico articolato in due percorsi. Track-A misura quali riferimenti vengono selezionati da 92 film reali (16.548 segmenti), prima della generazione e senza le variabili introdotte dal generatore. Track-B confronta quattro strategie di recupero con due condizioni di controllo, una senza memoria e una basata sull’ultima apparizione e informata dalla ground truth, su 30 storie generate in modo causale (2.824 segmenti), usando lo stesso generatore. Il recupero aumenta il richiamo delle entità da 0,559 a 0,628-0,693 e migliora la somiglianza con le loro apparizioni passate, ma riduce la precisione da 0,977 a 0,915-0,938 e la capacità di evitare le entità vietate da 0,968 a 0,845-0,898. Può anche rafforzare la rappresentazione di aspetti ormai superati dopo che la storia li ha modificati. Viceversa, un richiamo elevato dopo lunghi intervalli può verificarsi anche senza memoria quando è il prompt stesso a fornire informazioni sull’aspetto; un’analisi che rimuove tali informazioni mette in luce questo fattore confondente. Questi risultati distinguono la fedeltà al passato dalla correttezza rispetto alla storia nel suo stato attuale e mostrano perché né la pertinenza dei riferimenti recuperati né la sola coerenza del video finale dimostrano l’utilità della memoria.