Salt++: post-training allineato al contesto per la generazione multimodale in streaming in pochi passaggi

Abstract degli autori

La generazione audio-video in streaming in pochi passaggi richiede sia una modellazione causale sia una distillazione dei passaggi, ma le procedure di addestramento standard incontrano due difficoltà legate al contesto. Il teacher forcing abbina una storia pulita a un target rumoroso, ma supervisiona le rappresentazioni contestuali predittive solo indirettamente, attraverso la previsione della velocità. Nel frattempo, riutilizzare direttamente modelli di score bidirezionali nella Distribution Matching Distillation (DMD) causale crea una discrepanza tra i contesti di generazione e di valutazione. Affrontiamo queste difficoltà con Salt++, un framework di post-training in due fasi che comprende Causal Self-Flow (CSF) e una DMD autoregressiva allineata al contesto. CSF sfrutta l’asimmetria delle informazioni contestuali variando la storia e mantenendo fisso il target rumoroso: un modello studente con una storia mista a rumore allinea le proprie rappresentazioni intermedie a quelle di un modello insegnante con storia pulita, aggiornato mediante media mobile esponenziale. Questo segnale auto-supervisionato incoraggia lo studente a estrarre informazioni semantiche e migliora l’allineamento tra modalità. La DMD autoregressiva allineata al contesto usa la stessa maschera causale e lo stesso prefisso per il campionamento del generatore, l’addestramento dello score sui dati generati e la valutazione dello score sui dati reali, così da far corrispondere le distribuzioni generate e quelle di riferimento secondo un obiettivo di divergenza KL condizionato per blocchi. Con una guida calibrata del modello insegnante, esegue una distillazione in pochi passaggi con un prefisso pulito e poi si adatta alle storie generate senza cambiare obiettivo né richiedere una distillazione di consistenza separata. A 480p, Salt++ migliora la qualità visiva e quella del movimento rispettivamente del 57% e del 45% rispetto a OmniForcing su JavisBench, nella stessa configurazione causale a 4 passaggi. Una fase separata di post-training per scala estende Salt++ alla generazione a $1664\times960$ in 4 passaggi, superando LTX-2 bidirezionale in sei delle sette metriche riportate. Pagina del progetto: https://xingtongge.github.io/Saltpp