DuoMatching: corrispondenza delle distribuzioni congiunta e marginale per la generazione di video in pochi passaggi

Abstract degli autori

La generazione di video in streaming ha tratto beneficio dalla distillazione per corrispondenza delle distribuzioni (DMD), che fa corrispondere la distribuzione congiunta dei fotogrammi all’approssimazione della distribuzione dei video reali fornita da un modello insegnante per i video. Sebbene questa corrispondenza congiunta attenui la deriva nelle sequenze generate in modo autoregressivo, restano limiti nella qualità visiva e nell’allineamento semantico. Per affrontarli, proponiamo DuoMatching, un metodo di corrispondenza delle distribuzioni che approssima la distribuzione dei video reali mediante una formulazione unificata congiunta e marginale. Alle formulazioni esistenti per la corrispondenza congiunta aggiungiamo un obiettivo di corrispondenza marginale, che fornisce una supervisione specifica per ogni fotogramma da parte di un generatore di immagini, trasferendone informazioni a priori visive e semantiche complementari. Per applicare questa supervisione alla generazione di video, introduciamo LatentBridge, che risolve il disallineamento tra le rappresentazioni latenti del modello studente per i video e del modello insegnante per le immagini. Latent Variation Sampling distribuisce inoltre tale supervisione tra segmenti temporali distinti, riducendo le ridondanze. Gli esperimenti mostrano che DuoMatching migliora la qualità visiva, la composizione e l’allineamento semantico, preservando in larga misura la dinamica del movimento. Le valutazioni condotte da persone mostrano tassi di preferenza complessivi superiori all’80% rispetto a tutte le baseline valutate. La pagina del progetto è disponibile all’indirizzo https://johnzhan2023.github.io/DuoMatching/.