Wave Forcing: verso la generazione di video in streaming alla velocità della luce

Abstract degli autori

La generazione di video lunghi in tempo reale richiede un output continuo, con un aspetto coerente e movimenti naturali. Gli attuali metodi autoregressivi basati su chunk incontrano difficoltà sia in termini di efficienza di generazione sia di qualità dei video lunghi: la rimozione del rumore serializzata e l’aggiornamento della cache della cronologia richiedono due passaggi forward anche con denoising in un solo passaggio, mentre le generazioni più lunghe possono degradare la qualità e causare deriva della telecamera. Proponiamo Wave Forcing (WF), che co-progetta generazione, addestramento ed esecuzione per produrre video in modo continuo con denoising a più passaggi. WF usa un’attenzione causale basata su chunk per accedere ai chunk precedenti, più puliti, prima che il loro denoising sia completato, e distribuisce le fasi di denoising sfalsato e aggiornamento della cache tra repliche del modello completo per ottenere 1F1C: un chunk di output per ogni round di forward concorrente dopo il riempimento della pipeline. Per adattare il modello a questo processo di generazione continua, sviluppiamo una procedura di addestramento in tre fasi che introduce successivamente il denoising con rumore misto, la supervisione del movimento e l’adattamento causale tramite cronologia generata dal modello stesso. Per eseguire il processo in modo efficiente, Wave Runtime (WaveRT) usa Wave Parallelism (WP) per anticipare la trasmissione di K/V e sovrapporre comunicazione e calcolo, insieme a kernel ottimizzati e alla decodifica VAE in pipeline. Gli esperimenti su Wan2.1-T2V-1.3B mostrano che WF a 5 passaggi mantiene una qualità complessiva paragonabile a Rolling Forcing, ottenendo al contempo un Dynamic Degree più alto sia nei video brevi sia in quelli lunghi. Gli esperimenti sull’efficienza del sistema mostrano che WF a 4 passaggi raggiunge 147,6 DiT FPS e 134,8 FPS end-to-end su otto GPU H200, con un throughput end-to-end pari a 7,07 volte quello di una singola GPU. Nei test limitati al DiT, con backend SageAttention+W8A8, passaggi di denoising e numero di GPU uniformati, WP raggiunge un throughput fino a 2,53 volte superiore a quello del più veloce tra i baseline di parallelismo del contesto Ulysses e Ring, su sei scale di modello (1,3B–14B).