WorldMemBench: un benchmark completo per la memoria dei modelli video del mondo

Abstract degli autori

Con i modelli video che rendono possibili esperienze interattive più lunghe e realistiche, diventa essenziale mantenere un mondo coerente con la propria storia. Ciò richiede sia di conservare i contenuti osservati in precedenza, sia di garantire che il mondo evolva in modo coerente nel tempo. La memoria del mondo è una capacità fondamentale da valutare insieme alla fedeltà visiva e alla durata dei video. Presentiamo WorldMemBench, un benchmark per valutare sistematicamente la memoria del mondo nei modelli video del mondo. Attraverso 260 casi di test, valuta la memoria statica verificando la conservazione dell’identità e dell’aspetto delle persone, dell’aspetto e della geometria degli oggetti e dei contenuti e della geometria dell’ambiente; valuta inoltre la memoria dinamica attraverso la progressione degli eventi e la persistenza degli stati. Mediante allontanamenti controllati della telecamera e traiettorie con più ritorni, il benchmark confronta i contenuti statici con riferimenti iniziali fissi e gli eventi dinamici con le transizioni di stato attese. Combina metriche relative all’aspetto e alla geometria con valutazioni specifiche per gli eventi e riporta la qualità video e l’accuratezza nel seguire la telecamera come indicatori diagnostici complementari. La valutazione di nove modelli rappresentativi mostra che una buona conservazione degli elementi statici non implica un’evoluzione affidabile degli stati dinamici, mentre i ritorni ripetuti rivelano un deterioramento della memoria oltre il primo ritorno. Studi con partecipanti umani confermano la concordanza tra le nostre valutazioni automatiche e i giudizi umani. WorldMemBench offre un banco di prova sistematico per individuare i problemi di memoria e orientare lo sviluppo di mondi video persistenti e coerenti nel tempo.