Paint-Anything: controllo unificato di qualsiasi colore per la generazione e la modifica delle immagini

Abstract degli autori

La progettazione professionale richiede di poter controllare qualsiasi colore: specificare il colore desiderato di un oggetto con un qualsiasi valore esadecimale a 24 bit per generare e modificare immagini. I lavori precedenti hanno esplorato la generazione, la modifica e la colorizzazione dei colori, ma spesso si basano su rappresentazioni cromatiche dedicate o procedure di inferenza specializzate. I progressi nei modelli linguistici di grandi dimensioni offrono un punto di partenza più semplice: anche i modelli compatti possono associare i valori esadecimali al significato dei colori. Presentiamo Paint-Anything, che apprende un’interfaccia condivisa basata su prompt esadecimali per la generazione e la modifica, attraverso una supervisione dei colori a livello di oggetto. Sviluppiamo una pipeline di dati che costruisce Paint-500K a partire da immagini reali, mediante l’individuazione degli oggetti, l’assegnazione di etichette cromatiche percettive e la sintesi di coppie di immagini per l’editing. Poiché le ombre fanno sì che le etichette delle immagini reali rappresentino solo approssimativamente i colori, integriamo questa supervisione con ancore di colore puro, i cui pixel corrispondono esattamente ai valori esadecimali associati. Queste ancore vengono usate solo nei passaggi temporali ad alto rumore, mentre l’addestramento a basso rumore si basa su immagini naturali. Introduciamo inoltre Any Color Benchmark (ACBench), composto da ACBench-T2I e ACBench-Edit, per misurare la fedeltà dei colori esadecimali a livello di oggetto in entrambi i compiti. Su FLUX.2-4B, Paint-Anything migliora i punteggi di ACBench-T2I e ACBench-Edit rispettivamente dell’85,3% e del 28,3% rispetto al modello di base; gli studi di ablazione avvalorano la ricetta di addestramento. Ottiene inoltre il punteggio medio CompColor più alto tra i metodi confrontati.