Guardare avanti: modellare l’evoluzione futura nella generazione autoregressiva di video

Abstract degli autori

I modelli di diffusione autoregressivi per la generazione di video producono i video un segmento alla volta, ma generare continuazioni plausibili non garantisce che colgano il modo in cui le scene si evolvono. Con il teacher forcing, un’elevata ridondanza temporale può permettere di sfruttare la continuità visiva locale come scorciatoia per il denoising del segmento corrente, riducendo la necessità di modellare l’evoluzione visiva. Introduciamo Future Chunk Prediction (FCP), un obiettivo ausiliario ottimizzato insieme al denoising con teacher forcing, che prevede segmenti distanti nel tempo senza accedere al contesto visivo intermedio. FCP ricava i segnali di supervisione direttamente dai video di addestramento, non richiede ulteriori encoder visivi preaddestrati e lascia invariata l’inferenza autoregressiva. Il nostro metodo ottiene una plausibilità fisica superiore rispetto al normale addestramento autoregressivo con teacher forcing, con un budget computazionale complessivo per l’addestramento inferiore. Questo evidenzia l’efficacia e l’efficienza della supervisione sui segmenti futuri nel modellare l’evoluzione visiva. È interessante notare che le nostre visualizzazioni suggeriscono che FCP favorisca uno spazio delle rappresentazioni più strutturato, potenzialmente utile per costruire modelli del mondo autoregressivi.