MT Forcing: verso un editing delle immagini multi-turno stabile e coerente con diffusione autoregressiva

Abstract degli autori

L’editing delle immagini multi-turno mira a modificare un’immagine seguendo una sequenza di istruzioni, consentendo agli utenti di creare contenuti visivi in modo interattivo più efficace. Tuttavia, i metodi esistenti mostrano spesso una deriva evidente già dopo pochi turni di editing, che si manifesta in due modi: 1) qualità visiva instabile, con artefatti che si accumulano e dettagli che si deteriorano; 2) contenuto dell’immagine incoerente, con modifiche indesiderate alle regioni da preservare e alle modifiche precedenti. Per affrontare queste difficoltà, proponiamo MT Forcing, un nuovo paradigma di addestramento per l’editing delle immagini multi-turno con modelli multimodali unificati (UMM) basati sulla diffusione autoregressiva. In particolare, proponiamo Single-Turn Distribution Matching Distillation (Single-Turn DMD), che supervisiona le traiettorie generate autonomamente dal modello studente mediante un modello insegnante che applica all’immagine di partenza le modifiche cumulative in un unico turno, fornendo indicazioni sulla qualità visiva senza accumulare ricorsivamente gli errori. Introduciamo inoltre Teacher-Forcing Guidance, che supervisiona le transizioni dipendenti dalla cronologia lungo traiettorie di riferimento durante il warmup e funge da regolarizzatore durante la distillazione, favorendo una coerenza del contenuto tra i turni superiore a quella che la sola corrispondenza delle distribuzioni a ogni turno può garantire. Numerosi esperimenti dimostrano che il nostro approccio migliora significativamente le capacità di editing delle immagini multi-turno degli UMM, producendo una qualità visiva più stabile e una maggiore coerenza tra i turni.