ACEdit: modifica stabile delle immagini in più turni tramite condizionamento asimmetrico

Abstract degli autori

I modelli di modifica delle immagini producono risultati notevoli per le singole modifiche, ma la loro qualità spesso peggiora quando le modifiche si susseguono in più turni. Ogni turno introduce piccoli scostamenti nella distribuzione che si accumulano con le modifiche successive, creando un divario tra le distribuzioni degli input incontrate durante l’addestramento originale del modello e quelle incontrate durante l’inferenza in più turni. Presentiamo un metodo di addestramento che rende stabile la modifica delle immagini in più turni nonostante l’accumularsi di questi scostamenti. Il punto chiave è far sì che, durante l’addestramento, il modello lavori sui risultati prodotti da sé nei turni precedenti, applicando alla modifica delle immagini il principio di Self-Forcing. La difficoltà principale è che le sequenze di modifiche generate dal modello si discostano da quelle di riferimento, rendendo inaffidabile una supervisione diretta. Affrontiamo il problema con una funzione obiettivo di distillazione che si avvale di un modello insegnante per fornire un segnale di addestramento affidabile quando il modello opera sui propri risultati precedenti. Introduciamo uno schema di condizionamento asimmetrico: mentre il modello studente esegue le modifiche in sequenza sui propri risultati, il modello insegnante continua a fare riferimento all’immagine originale non modificata e riceve un’istruzione di modifica composta. Gli esperimenti mostrano un deterioramento sostanzialmente ridotto nelle lunghe sequenze di modifiche in più turni, senza compromettere la qualità delle modifiche né il rispetto delle istruzioni.