VibeEdit: modifica delle immagini con istruzioni sul canvas

Abstract degli autori

Nella modifica delle immagini guidata da testo, descrivere il cambiamento desiderato è spesso semplice, ma indicare l’oggetto o la regione a cui applicarlo può essere laborioso, soprattutto quando più oggetti si somigliano. Presentiamo una nuova interfaccia per la modifica delle immagini che consente agli utenti di tracciare segni spaziali e aggiungere, facoltativamente, brevi note direttamente sull’immagine. Insieme, queste annotazioni formano un’istruzione sul canvas che specifica dove intervenire e che cosa cambiare. Il nostro editor, VibeEdit, segue queste istruzioni per aggiungere, rimuovere, sostituire e spostare oggetti, oppure modificarne gli attributi, senza un prompt testuale separato. Creiamo 1,55 milioni di coppie di immagini sorgente e immagini risultanti dalla modifica, corredate da maschere degli oggetti e descrizioni strutturate delle modifiche, dalle quali generiamo le istruzioni sul canvas durante l’addestramento. Adattiamo Qwen-Image-Edit con un condizionamento a livelli disaccoppiati che codifica separatamente le immagini sorgente e le istruzioni sul canvas per la modifica delle immagini. Addestriamo il modello con un fine-tuning supervisionato ponderato per regione, seguito da un apprendimento per rinforzo guidato da una griglia di valutazione per migliorare il completamento delle modifiche, la qualità delle modifiche locali e la preservazione delle regioni non modificate. Valutiamo VibeEdit su un benchmark di 419 casi, costruito in modo indipendente e curato da esseri umani, che pone l’accento sulla selezione del bersaglio tra oggetti simili. VibeEdit ottiene un punteggio VLM di 79,9 secondo la griglia di valutazione e un PSNR di 32,8 dB al di fuori della regione modificata, contro 67,4 e 24,0 dB per FireRed, la baseline basata su istruzioni testuali con il punteggio più alto nella nostra valutazione.