FlowTool: controllo dei parametri degli strumenti nel ritocco delle immagini tramite flow matching

Abstract degli autori

L’editing delle immagini basato su strumenti (ritocco delle immagini) viene comunemente formulato come un compito per modelli linguistici multimodali di grandi dimensioni (MLLM) autoregressivi, che generano in sequenza ragionamenti, selezioni degli strumenti e valori dei parametri. In questo lavoro presentiamo un nuovo approccio che inquadra il compito come un problema di flow matching. Introduciamo FlowTool, un framework che modella direttamente, mediante un flusso rettificato condizionale, la distribuzione di parametri di alta qualità per gli strumenti in funzione dell’immagine di input e delle istruzioni dell’utente. FlowTool combina un modello visione-linguaggio per la comprensione multimodale con un generatore di parametri Diffusion Transformer, che trasforma rumore gaussiano in un piano di modifica. Addestriamo FlowTool con un percorso supervisionato di flow matching in due fasi, seguito da un post-addestramento basato sulle ricompense. Su MMArt-Bench, FlowTool-Eval, ArtEdit-Bench e MIT-Adobe5K, FlowTool ottiene prestazioni significativamente superiori a quelle degli agenti MLLM specializzati nell’editing e degli MLLM proprietari nelle valutazioni basate su riferimenti, pur restando competitivo con i modelli proprietari nelle valutazioni senza riferimenti. Inoltre, FlowTool migliora significativamente l’efficienza dell’inferenza, riducendo la latenza di almeno $50\times$ e richiedendo quasi $2\times$ meno memoria rispetto ai modelli usati per il confronto. Questi risultati dimostrano che l’editing delle immagini basato su strumenti può essere modellato efficacemente come generazione condizionale di parametri di modifica continui e strutturati, senza ragionamento autoregressivo.