Perfezionamento efficiente del testo nelle immagini mediante generazione raggruppata nello spazio dei pixel

Abstract degli autori

Le immagini generate presentano spesso composizioni e contenuti visivi coerenti, ma gli errori locali nei testi di piccole dimensioni e nei caratteri complessi ne limitano ancora la leggibilità e l’utilità pratica. Il perfezionamento del testo nelle immagini richiede accuratezza, conservazione del contenuto ed efficienza. I metodi esistenti basati su autoencoder variazionali (VAE) possono perdere i tratti sottili durante la ricostruzione, mentre la modifica dell’intera immagine può alterare i colori dello sfondo. In questo lavoro presentiamo PixText, un modello che tratta il perfezionamento locale del testo come generazione raggruppata di immagini nello spazio dei pixel. A partire dall’immagine originale, PixText genera soltanto le regioni bersaglio, conserva il contenuto non modificato e usa MeanFlow per generare l’immagine in quattro passaggi. Presentiamo inoltre Text Refinement Bench, un benchmark per valutare la correzione del testo e la conservazione dell’immagine nelle immagini generate. Su questo benchmark, PixText raggiunge un tasso di superamento dei glifi dell’83,06% e un’accuratezza OCR del 94,66% sui caratteri bersaglio esatti, contro il 36,77% e il 52,31% del miglior metodo di riferimento. La sua variante MeanFlow in quattro passaggi mantiene un tasso di superamento dell’81,84%, con un costo ammortizzato di generazione inferiore a un secondo-GPU per immagine.