ThinkDrag: editing semantico delle immagini tramite trascinamento con ragionamento visivo

Abstract degli autori

L’editing delle immagini tramite trascinamento offre un’interfaccia intuitiva per modificarle con precisione spaziale, consentendo agli utenti di indicare punti di partenza e punti di destinazione. I metodi esistenti hanno compiuto notevoli progressi con approcci basati sull’ottimizzazione, a singolo passaggio e feed-forward, ma spesso interpretano le istruzioni di trascinamento come spostamenti geometrici. Questo ne limita l’efficacia quando la modifica desiderata richiede di interpretare il contenuto dell’immagine e dedurre una trasformazione semantica plausibile da vincoli definiti da pochi punti. Presentiamo ThinkDrag, un framework multimodale unificato per l’editing delle immagini tramite trascinamento con ragionamento visivo. ThinkDrag è addestrato ad associare i vincoli sui punti a trasformazioni significative a livello di oggetto e di scena e può, facoltativamente, produrre una traccia esplicita del ragionamento che interpreta la modifica desiderata prima di generare l’immagine. Questa traccia rende il processo più interpretabile, soprattutto quando i trascinamenti sono ambigui. I Drag Endpoint Markers, motivati da un’analisi dell’attenzione tra immagini, forniscono un segnale esplicito di corrispondenza che ancora ogni trascinamento allo spazio dell’immagine. A sostegno di questo framework, creiamo un dataset supervisionato di trasformazioni semantiche tramite trascinamento, abbinate a tracce di ragionamento, e introduciamo DragBench++, un benchmark dedicato a scenari complessi di editing tramite trascinamento, con soluzioni di modifica di riferimento. Gli esperimenti mostrano che ThinkDrag raggiunge prestazioni allo stato dell’arte, migliorando la qualità e la plausibilità delle immagini generate e mantenendo una precisione competitiva nel seguire i punti indicati.