Addestramento avversario per la diffusione a livello di pixel

Abstract degli autori

I modelli di diffusione a livello di pixel generano direttamente immagini RGB, evitando il collo di bottiglia di un autoencoder, ma i loro output continuano a sottorappresentare sistematicamente le statistiche delle immagini naturali su scala fine. Mostriamo che l’apprendimento avversario offre un’efficace correzione di questa carenza nella fase di post-addestramento. Partendo da un modello preaddestrato, manteniamo l’obiettivo originale di diffusione o di flow matching e aggiungiamo una funzione di perdita avversaria all’output previsto nei passi temporali in cui il rumore non è elevato, senza modificare l’architettura del modello né la procedura di campionamento. Per quanto ne sappiamo, questo è il primo studio sistematico del post-addestramento avversario per la diffusione a livello di pixel. Su due architetture di base a livello di pixel, il metodo migliora congiuntamente la fedeltà alla distribuzione, la copertura, l’aderenza al prompt e la qualità percettiva. Indaghiamo inoltre perché funzioni. Le analisi delle bande di frequenza e delle leggi di potenza mostrano che i modelli originali producono sistematicamente troppo poco contenuto ad alta frequenza tipico delle immagini naturali, mentre il post-addestramento avversario ripristina la potenza spettrale mancante. Al contrario, anche una funzione di perdita percettiva aumenta il contenuto ad alta frequenza, ma a scapito della fedeltà alla distribuzione e dell’aderenza al prompt. Le analisi dei vicini più prossimi e del richiamo, insieme ai controlli SFT comparabili senza GAN, escludono inoltre che la memorizzazione, la perdita di modalità o l’ottimizzazione aggiuntiva siano spiegazioni semplici. Infine, esaminiamo i limiti di questo effetto. Nelle configurazioni di diffusione latente testate, la stessa procedura non produce miglioramenti congiunti comparabili e non aggiunge quasi alcuna potenza alle alte frequenze nelle immagini decodificate. Questi risultati individuano nell’accesso diretto, in uscita, alle statistiche delle immagini da correggere un fattore chiave per il successo del post-addestramento avversario.