Autodistillazione on-policy per la modifica delle immagini in più turni

Abstract degli autori

La modifica delle immagini basata su istruzioni ha raggiunto ottimi risultati quando avviene in un solo turno, ma nella pratica è spesso iterativa: ogni istruzione viene applicata al risultato del turno precedente. Osserviamo che le prestazioni dei modelli esistenti peggiorano rapidamente quando la modifica è ricorsiva e attribuiamo questo problema a una discrepanza tra addestramento e inferenza nella distribuzione dei dati usati per il condizionamento: i modelli vengono addestrati su immagini di partenza pulite, ma in fase di inferenza devono usare ripetutamente come dati di condizionamento i propri risultati imperfetti. Per affrontare il problema, proponiamo MT-OPSD, un metodo di autodistillazione on-policy che addestra il modello usando come dati di condizionamento immagini generate dal modello stesso e la supervisione di un modello teacher condizionato su immagini pulite, senza richiedere annotazioni relative a più turni. Introduciamo inoltre LME-Bench, un benchmark composto da 100 sessioni di modifica di dieci turni per valutare la robustezza su orizzonti lunghi. Gli esperimenti condotti su tre architetture di base per la modifica delle immagini mostrano che MT-OPSD migliora notevolmente la riuscita delle modifiche su orizzonti lunghi e riduce il collasso nei processi a più turni, preservando in larga misura la qualità delle modifiche in un solo turno.