Modificare le immagini creando livelli riutilizzabili tramite distillazione composizionale del prior di modifica

Abstract degli autori

La modifica delle immagini di alta qualità richiede interventi precisi nelle regioni interessate, preservando il contenuto delle altre. I modelli di modifica esistenti producono risultati appiattiti, che limitano la manipolazione locale precisa e il riutilizzo dei livelli; i metodi di scomposizione, invece, ottimizzano di norma il recupero dei livelli separatamente dalla modifica guidata da istruzioni. Per questo presentiamo LayerEditor, un framework unificato che combina la modifica delle immagini guidata da istruzioni con la generazione controllabile di livelli RGBA riutilizzabili. Al centro del sistema, In-Context RGB-Alpha Token Modeling rappresenta congiuntamente l’immagine modificata e una sequenza ordinata di livelli RGB-Alpha in un’unica sequenza di token, consentendo modifiche semantiche e un controllo esplicito sul contenuto di ciascun livello. Per conservare la capacità di modifica del modello preaddestrato durante l’adattamento alla produzione di livelli, proponiamo Compositional Edit-Prior Distillation, che trasferisce il suo prior di modifica sia all’immagine modificata sia all’immagine composta a partire dai livelli previsti. Per l’addestramento e la valutazione, realizziamo LayerEditor-100K, un dataset su larga scala di coppie di immagini per la modifica, con annotazioni dei livelli RGBA ordinati, e introduciamo benchmark dedicati alla modifica per livelli. Ampi esperimenti dimostrano che LayerEditor mantiene un’elevata fedeltà nelle modifiche e genera livelli RGBA accurati, consentendo sia una manipolazione flessibile dei singoli livelli sia la scomposizione in più livelli.