Glance Forcing: rendere autoregressiva la diffusione bidirezionale con un solo sguardo

Abstract degli autori

La generazione autoregressiva è alla base della sintesi video causale in tempo reale e costituisce l’ossatura dei modelli del mondo per i video. L’approccio oggi dominante distilla un modello di diffusione bidirezionale in un modello studente causale che opera in pochi passaggi, ma i metodi esistenti rendono questa conversione proibitivamente costosa: richiedono traiettorie offline di Probability Flow ODE} (PF-ODE), la cui produzione costa decine di migliaia di ore di GPU e terabyte di spazio di archiviazione. Mostriamo che è possibile rendere il processo molto più efficiente. Spingendo questa efficienza all’estremo, riduciamo la supervisione delle traiettorie a un solo campione, il caso più restrittivo possibile, e osserviamo un grave crollo della qualità. Ne individuiamo la causa nella geometria della traiettoria del modello insegnante: il regime ad alto rumore, che governa la disposizione semantica e il movimento, e quello a basso rumore, che governa le texture fini, presentano curvature e comportamenti durante l’ottimizzazione fondamentalmente diversi. Un unico modello studente monolitico non riesce quindi ad adattarsi a entrambi, causando una grave interferenza tra le rappresentazioni. Per questo proponiamo Glance Forcing, un framework di distillazione leggero che suddivide la traiettoria di rimozione del rumore tra due esperti complementari, uno lento e uno veloce, ciascuno guidato da un obiettivo specifico per la propria fase, mantenendo del tutto congelato il modello insegnante preaddestrato. Questa separazione rivela inoltre un meccanismo generale alla base della distillazione in pochi passaggi: la distillazione PF-ODE serve principalmente a raddrizzare la geometria della traiettoria in pochi passaggi, mentre la successiva fase di allineamento delle distribuzioni determina, in modo indipendente, la qualità della distribuzione. Usando una sola traiettoria PF-ODE, Glance Forcing supera già il miglior metodo di riferimento completamente addestrato: porta il punteggio VBench Total da 84,04 a 84,22 e riduce il costo della raccolta delle traiettorie da migliaia di ore di GPU a circa un’ora di GPU A100. I miglioramenti sono nettamente maggiori nel grado di dinamismo, in VisionReward e nella capacità di seguire le istruzioni; inoltre, i valutatori umani lo preferiscono sistematicamente a metodi di riferimento competitivi.