Ring Forcing: verso una memoria a lungo termine precisa per la diffusione video autoregressiva

Abstract degli autori

Estendere la generazione video a durate elevate mette in luce un limite cruciale: i modelli attuali non dispongono di una solida memoria a lungo termine. Questa carenza può essere studiata sotto due aspetti fondamentali: la permanenza degli oggetti, cioè la capacità di riprodurne con precisione l’aspetto quando ricompaiono, e la capacità di memoria, cioè la capacità di elaborare contesti estremamente lunghi e utilizzare informazioni risalenti a molto tempo prima. Una solida memoria a lungo termine richiede entrambe: la permanenza degli oggetti senza un’adeguata gestione del contesto ha una portata temporale limitata, mentre un contesto lungo senza permanenza non consente di preservarne l’identità. Per affrontare il problema, presentiamo Ring Forcing, un framework di diffusione video autoregressiva progettato per costruire una solida memoria a lungo termine e utilizzarla con precisione. La nostra strategia di addestramento con struttura ad anello impone il recupero di informazioni da momenti lontani nel passato, conciliando efficacemente la fedeltà rigorosa alla storia precedente con la diversità generativa. Per aumentare la capacità di memoria, introduciamo una strategia di compressione e composizione dei passi temporali. A parità di vincoli sulla lunghezza della sequenza, questo metodo estende a diversi minuti l’arco temporale effettivo della memoria e consente di ottenere un campo recettivo completo sull’intera storia precedente. Presentiamo inoltre un meccanismo RoPE sparso che permette un adattamento flessibile e scalabile della memoria, sfruttando appieno i prior appresi durante il preaddestramento. Numerosi esperimenti dimostrano che Ring Forcing raggiunge una coerenza su diversi minuti e una permanenza degli oggetti superiori, superando nettamente i metodi più avanzati.