Addestramento alla correzione per i modelli di diffusione

Abstract degli autori

Il campionamento iterativo nei modelli di diffusione può portare a un accumulo di errori dovuto al bias da esposizione. Il denoiser viene addestrato su immagini reali interpolate con rumore, ma durante l’inferenza riceve input costruiti a partire dalle proprie previsioni imperfette dei passaggi precedenti, qualcosa che non ha mai visto durante l’addestramento. Questo potrebbe essere uno dei motivi per cui i modelli di diffusione spesso incontrano difficoltà senza un aiuto aggiuntivo, come CFG. Introduciamo un passaggio di correzione per i modelli di diffusione che mira a ridurre questo divario tra addestramento e inferenza. Il correttore riceve in input la previsione del modello di base e viene addestrato rispetto allo stesso risultato atteso. La correzione diventa così un compito di apprendimento esplicito, con input di addestramento forniti dal modello di base. Durante il campionamento, a ogni passaggio di rimozione del rumore, perfezioniamo iterativamente la previsione del denoiser per il campione privo di rumore. Possiamo così correggere le previsioni nei passaggi intermedi, evitando che gli artefatti iniziali persistano nel campione finale. Sebbene il correttore sia addestrato soltanto sulle previsioni del denoiser di base, durante l’inferenza può essere applicato ripetutamente ai propri output per ottenere risultati migliori. Questo semplice approccio migliora notevolmente la qualità dei campioni, preservandone in larga misura la diversità. Valutiamo il nostro metodo su DiT, SiT e JiT. Il nostro metodo migliora notevolmente i punteggi FID riportati in precedenza per la generazione senza guida e, in particolare, per la generazione incondizionata, nella quale produrre campioni di alta qualità senza guida si è rivelato particolarmente difficile. Il nostro metodo raggiunge prestazioni competitive con la guida senza classificatore (CFG); combinare la correzione con CFG aumenta ulteriormente la diversità e riduce l’eccessiva saturazione tipica di CFG. Infine, mostriamo che il costo aggiuntivo della correzione durante l’inferenza può essere ammortizzato distillando le previsioni perfezionate nel modello di diffusione di base, mantenendo i miglioramenti di qualità senza costi aggiuntivi in fase di inferenza.