RepForcing: inizializzazione nello spazio delle rappresentazioni per la distillazione autoregressiva di video

Abstract degli autori

La distillazione di modelli di diffusione video preaddestrati in generatori autoregressivi (AR) che richiedono pochi passaggi combina in genere l’inizializzazione del modello studente con la distillazione per corrispondenza delle distribuzioni (DMD). Un teacher AR intermedio può fornire obiettivi compatibili con la causalità per l’inizializzazione tramite ODE. Tuttavia, la sola compatibilità causale degli obiettivi non garantisce una generazione di alta qualità con un numero ridotto di passaggi di campionamento. Analizziamo le predizioni della media a posteriori favorite dalla regressione diretta nello spazio latente e riscontriamo empiricamente che l’inizializzazione tramite ODE causali attenua la sfocatura, ma lascia ancora irrisolti i dettagli più fini. Per affrontare questo limite, proponiamo Representation Forcing, che apprende un’inizializzazione causale con pochi passaggi mediante supervisione nello spazio delle rappresentazioni, anziché tramite regressione sulle traiettorie del teacher intermedio. Il modello studente viene addestrato con teacher forcing confrontando le predizioni pulite e gli obiettivi di addestramento attraverso le caratteristiche normalizzate di un transformer di diffusione video con parametri congelati. Questa fase riutilizza i video sintetici generati da un modello bidirezionale per l’addestramento del teacher AR e sostituisce sia tale addestramento sia la distillazione tramite ODE causali, senza generare ulteriori traiettorie ODE causali. La successiva procedura DMD asimmetrica rimane invariata. I risultati empirici mostrano che, con quattro passaggi di campionamento, RepForcing preserva la qualità della generazione meglio dell’inizializzazione basata su un teacher intermedio prima della DMD. Dopo la DMD, il nostro modello a quattro passaggi che opera per blocchi porta VBench Total da 84,04 a 84,66 (+0,62 punti) e VisionReward da 6,326 a 10,074 (+59,25%) rispetto alla baseline basata su ODE causali riportata.