MTEdit: le traiettorie compattate battono i rollout nell’editing di immagini a più turni

Abstract degli autori

L’editing di immagini in più turni mira a modificare un’immagine seguendo una sequenza di istruzioni ed è quindi più adatto dell’editing in un solo turno alla creazione collaborativa tra esseri umani e IA. Tuttavia, costruire dati di addestramento di alta qualità per questo compito resta difficile: la generazione sequenziale convenzionale accumula errori e provoca un progressivo deterioramento della qualità visiva da un turno di editing all’altro. Per affrontare questa sfida, presentiamo MTEdit, un dataset per l’editing di immagini in più turni costruito mediante un processo incentrato sulla generazione di packed trajectory canvas (PTC). Generando congiuntamente più stati di editing in un contesto visivo unificato, questo processo riduce il deterioramento della qualità visiva tra i turni. MTEdit comprende scenari di editing sia passo per passo sia sensibili al contesto e raccoglie 500K traiettorie di editing di immagini in più turni, con un massimo di 8 turni e una media di 5,38 turni per traiettoria: è così uno dei dataset più estesi per l’editing di immagini in più turni. Presentiamo inoltre MTEdit-Bench, un benchmark progettato per valutare entrambi gli scenari misurando la capacità dei modelli di seguire le istruzioni di editing, mantenere la coerenza dei contenuti, resistere al deterioramento della qualità visiva e utilizzare efficacemente il contesto dei turni precedenti. Utilizzando MTEdit, sottoponiamo Qwen-Image-Edit-Causal a fine-tuning per ottenere Qwen-Image-MTEdit. Su MTEdit-Bench valutiamo un’ampia gamma di modelli di editing di immagini closed source e open source, tra cui Qwen-Image-MTEdit. I risultati sperimentali mostrano che Qwen-Image-MTEdit ottiene le prestazioni migliori tra i modelli open source valutati, dimostrando l’efficacia di MTEdit nel migliorare le capacità dei modelli nell’editing di immagini in più turni.