Oltre la corrispondenza delle distribuzioni: forzatura auto-supervisionata delle rappresentazioni per generare video in pochi passaggi

Abstract degli autori

La distillazione in pochi passaggi è essenziale per impiegare i moderni modelli di diffusione video. Tra gli approcci esistenti, Distribution Matching Distillation (DMD) si è affermato come un paradigma molto promettente: raggiunge un’elevata fedeltà nello spazio degli output senza addestramento avversario e resta applicabile a diverse architetture del modello studente. Osserviamo, tuttavia, che DMD si basa fondamentalmente su una funzione obiettivo nello spazio degli output, senza regolarizzare esplicitamente le rappresentazioni interne del modello. Quando il numero di passaggi della distillazione si riduce drasticamente, questa supervisione limitata agli output diventa insufficiente e il modello studente distillato perde qualità sia nelle strutture spaziali più fini sia nella coerenza della dinamica temporale. Per affrontare questo limite, introduciamo Self Flow Forcing (SF$^2$), che integra una funzione di perdita predittiva sulle rappresentazioni nel framework DMD senza modificarne la funzione obiettivo relativa agli output. Fornendo al modello studente e a un modello insegnante basato su una media mobile esponenziale (EMA) livelli di rumore eterogenei, creiamo un’asimmetria informativa. Questa formulazione costringe il modello studente a prevedere le rappresentazioni interne del modello insegnante a partire da un input più corrotto, integrando di fatto l’allineamento auto-supervisionato delle rappresentazioni nella corrispondenza delle distribuzioni. Ampi esperimenti dimostrano che SF$^2$ attenua efficacemente lo sfarfallio temporale e migliora in modo costante sia la fedeltà spaziale sia la qualità del movimento. Inoltre, il meccanismo proposto è indipendente dall’architettura — supporta senza difficoltà sia modelli bidirezionali sia modelli causali — e non richiede estrattori esterni di caratteristiche, comportando un sovraccarico computazionale minimo.