Distillazione marginale dei rollout per la generazione autoregressiva di video su orizzonti lunghi

Abstract degli autori

La diffusione video autoregressiva (AR) consente di generare video in streaming a bassa latenza, ma gli errori di previsione spesso si accumulano nei rollout lunghi. Addestrare il generatore sui propri rollout lo espone a queste sequenze precedenti imperfette. Tuttavia, i metodi esistenti di distillazione tramite corrispondenza delle distribuzioni a livello di video (DMD) valutano l’intero rollout congiuntamente. Poiché ogni segmento viene valutato insieme a quelli che lo precedono e lo seguono, la correzione può favorire la riproduzione degli artefatti presenti nel contesto circostante pur di preservare la coerenza temporale. Per ottenere un segnale più chiaro sulla qualità visiva, introduciamo Rollout-Marginal Distillation (RMD). RMD conserva la sequenza generata in precedenza per la previsione AR, ma valuta ogni segmento indipendentemente rispetto a un modello teacher per i segmenti, assicurando che la correzione della sua qualità non sia compromessa da un contesto temporale imperfetto. Per compensare l’assenza di contesto temporale nella valutazione indipendente dei segmenti, RMD applica successivamente la DMD a livello di video per ripristinare la coerenza temporale. Numerosi esperimenti dimostrano che RMD mantiene un’elevata qualità visiva ben oltre l’orizzonte di addestramento e supera i metodi di riferimento basati sulla DMD a livello di video. Il codice e i risultati video sono disponibili all’indirizzo https://cjeen.github.io/RMD