Disen-Forcing: separare l’ancoraggio semantico dal movimento nella diffusione video autoregressiva

Abstract degli autori

I modelli autoregressivi di diffusione video (AR-VDM) consentono di generare video in tempo reale e su orizzonti temporali lunghi, ma le loro prestazioni peggiorano rapidamente quando l’orizzonte di inferenza supera quello di addestramento, a causa del bias di esposizione cumulativo. Per stabilizzare le generazioni prolungate, metodi recenti adottano euristicamente la strategia del frame sink, mantenendo i frame iniziali come contesto persistente del modello, ispirandosi agli attention sink degli LLM. Riesaminiamo questa impostazione e scopriamo che il meccanismo con cui i frame iniziali stabilizzano la coerenza a lungo raggio negli AR-VDM non è un attention sink in stile LLM; la coerenza a lungo raggio è invece ancorata da un sottoinsieme ristretto di teste di attenzione, mentre la maggior parte cattura prevalentemente le dinamiche temporali locali. Questa osservazione rivela una patologia di sovracondizionamento nelle strategie esistenti basate sui frame sink: esponendo indistintamente ogni testa al contesto persistente dei frame iniziali, il modello tende a far collassare il movimento verso le modalità a bassa dinamica del modello docente durante la distillazione. Proponiamo Disen-Forcing, un plug-in da applicare durante la distillazione per gli AR-VDM, che disaccoppia e rafforza questa specializzazione delle teste tramite un instradamento disaccoppiato del contesto e una regolarizzazione volta a disaccoppiare il movimento. Nei benchmark di generazione video su orizzonti temporali lunghi, Disen-Forcing migliora contemporaneamente la coerenza a lungo raggio e le dinamiche del movimento dei modelli AR-VDM di base, un compromesso che i metodi basati sui sink non riescono a bilanciare.