History Forcing: distillare continuazioni dipendenti dalla storia per modelli del mondo video a orizzonte lungo

Abstract degli autori

La diffusione video autoregressiva in pochi passaggi consente una generazione efficiente, ma mantenere la coerenza nel corso di sequenze generate lunghe resta difficile, soprattutto quando soggetti o scene ricompaiono dopo essere usciti dal campo visivo. Nonostante i progressi in termini di fedeltà e robustezza delle sequenze generate, i metodi di distillazione esistenti non sfruttano appieno le informazioni storiche più ricche per vincolare la previsione corrente del modello studente. Per colmare questa lacuna, introduciamo \textbf{History Forcing}, un framework unificato di distillazione on-policy che rafforza la supervisione storica per i generatori video autoregressivi in pochi passaggi. Il framework usa il residuo tra le previsioni del modello insegnante con e senza un contesto storico informativo, così da separare questa supervisione. Tale contesto storico può essere ottenuto usando segmenti generati in precedenza con minore deriva accumulata, oppure una sequenza generata dal modello insegnante a inquadratura fissa, che mantiene visibile la scena mentre il modello studente guarda altrove. Il residuo viene quindi ponderato e aggiunto alla previsione dello score o della velocità usata per la distillazione, formando un target corretto. Allineando il modello studente a questo target corretto tramite la distillazione, History Forcing integra vincoli storici a lungo raggio nella generazione autoregressiva. Il nostro metodo raggiunge prestazioni allo stato dell’arte tra i modelli da 1,3B, con un punteggio di qualità VBench di 85,07 per la generazione di video di 15 secondi e un punteggio aggregato VBench-Long di 79,82 per la generazione di video di 60 secondi. Per la modellazione del mondo con elementi fuori dal campo visivo, le valutazioni dimostrano inoltre un’evoluzione della scena più plausibile e stati più coerenti al ritorno della telecamera: Evolution Quality passa da 2,35 a 2,70 su PlayWorld e Object Consistency da 58,43 a 62,18 su MemoBench.