NitroFusion2: portare la perdita avversaria nel flusso testuale dei transformer di diffusione multimodali

Abstract degli autori

La distillazione avversaria della diffusione si è basata tradizionalmente sulle caratteristiche delle immagini per la discriminazione. Riesaminiamo questa scelta per i transformer di diffusione multimodali (MMDiT), il cui flusso testuale diventa dipendente dall’immagine attraverso l’attenzione congiunta. Introduciamo la Text-Stream Adversarial Distillation (TSAD), che sfrutta gli stati intermedi dei token testuali come nuova rappresentazione avversaria. Poiché il flusso testuale ha già elaborato l’immagine pur restando legato alla condizione testuale, modificare tale condizione cambia le informazioni che estrae dall’immagine. Sulla base di questa proprietà, introduciamo la Aspect-Cued Discrimination (ACD), che condiziona il discriminatore a diversi aspetti del campione, come la tipografia, gli oggetti o lo stile, per orientare le proprietà messe in risalto durante l’addestramento avversario. Partendo dal design del discriminatore esperto di NitroFusion, integriamo TSAD e ACD in NitroFusion2. NitroFusion2 porta la distillazione in pochi passaggi dal regime convenzionale di 4-8 passaggi a soli 1-2, con una qualità comparabile. In un solo passaggio, produce testo renderizzato nitido e dettagli ricchi e minuziosi, rendendo pratica la generazione in un solo passaggio anziché lasciarla a un semplice stress test della distillazione. In due passaggi, resta competitivo nei benchmark valutati. Questi risultati dimostrano che il flusso testuale degli MMDiT è una rappresentazione potente e guidabile per la distillazione avversaria della diffusione.