Imparare a memorizzare: gestione dinamica del contesto per la generazione autoregressiva di video su orizzonti temporali lunghi

Abstract degli autori

La generazione autoregressiva di video ha ottenuto risultati notevoli con clip brevi, ma generare video lunghi resta difficile a causa dell’accumulo di errori su orizzonti temporali estesi, in cui ogni frame previsto dipende da frame precedenti potenzialmente imperfetti. Gli approcci esistenti si affidano in genere a strategie statiche di gestione del contesto, come cache a finestra scorrevole che scartano i frame iniziali o frame sink fissi che preservano in modo permanente il contenuto iniziale. Questi design o perdono informazioni di contesto cruciali sul lungo periodo o ancorano la generazione a informazioni obsolete, il che può portare a una minore fedeltà, alla stagnazione del movimento e a una minore diversità. In questo articolo proponiamo Learning to Memorize (L2M), un framework appreso per la gestione della memoria contestuale che conserva, elimina e aggiorna dinamicamente i frame storici in base alla loro importanza prevista. Il framework comprende un router di previsione dell’importanza che stima la rilevanza di ciascun frame storico, un addestramento che tiene conto del degrado per migliorare la robustezza a contesti rumorosi o corrotti e un meccanismo dinamico di inizializzazione ed evoluzione della memoria che aggiorna la memoria a lungo termine usando punteggi di importanza calcolati con una media mobile esponenziale (EMA). In questo modo, i frame di alta qualità possono sostituire gli ancoraggi obsoleti e la memoria può adattarsi naturalmente all’evoluzione della scena. Addestrato con un obiettivo di distillazione teacher-student e una regolarizzazione della sparsità, L2M sfrutta in modo efficiente un budget fisso per la KV-cache, preservando al contempo le informazioni contestuali più rilevanti. Esperimenti approfonditi dimostrano che L2M migliora la qualità della generazione di video su orizzonti temporali lunghi e la coerenza temporale rispetto alle baseline esistenti, offrendo una strategia appresa per la gestione della memoria contestuale nella generazione autoregressiva di video su orizzonti temporali lunghi.