SGF+: separare i flussi di gradiente per la generazione autoregressiva di video

Abstract degli autori

La generazione autoregressiva di video richiede di rimuovere il rumore dai fotogrammi correnti e, al tempo stesso, di scrivere le loro rappresentazioni chiave-valore come contesto per le previsioni future. Di norma, però, questi due ruoli condividono gli stessi parametri. Osserviamo che i rispettivi gradienti presentano andamenti distinti e un allineamento negativo sistematico, che ostacola l’ottimizzazione congiunta della qualità visiva e della coerenza temporale. Presentiamo Self Gradient Forcing Plus (SGF+), che assegna parametri separati alla scrittura del contesto e alla rimozione del rumore, preservando l’interazione tra i due ruoli attraverso l’attenzione causale. Entrambi vengono ottimizzati congiuntamente usando l’obiettivo di generazione originale, senza funzioni di perdita ausiliarie; la scrittura del contesto è supervisionata attraverso il suo contributo alle previsioni future. Questa semplice modifica migliora la qualità visiva e la coerenza su orizzonti temporali lunghi rispetto ai metodi di riferimento valutati, sia nella generazione fotogramma per fotogramma sia in quella per blocchi, senza dati video aggiuntivi per l’addestramento né un orizzonte di addestramento più lungo. Addestrato su rollout di soli 5 s, SGF+ consente una generazione continua fino a 24 ore senza fine-tuning su video lunghi. Questi risultati indicano che l’uso di parametri specifici per ciascun ruolo è un principio di progettazione efficace per generare video autoregressivi di alta qualità e per l’estrapolazione nativa su orizzonti temporali lunghi.