Dati reali in ingresso, risultati reali in uscita: e se usassimo solo dati reali per modificare il testo nelle scene?

Abstract degli autori

La modifica del testo nelle scene (STE) mira a cambiare il contenuto testuale preservandone lo stile originale e ha un notevole valore pratico in molte applicazioni. In genere, per addestrare i modelli di STE servono coppie di immagini che mostrino la scena prima e dopo la modifica. Gli approcci recenti, però, si affidano in larga misura a coppie di dati sintetici e a complesse strategie di disaccoppiamento. Faticano così a rappresentare fedelmente la varietà e la complessità delle scene naturali, producendo spesso artefatti o allucinazioni. In questo lavoro mettiamo in discussione la prassi comune e indaghiamo se sia possibile basare la STE su coppie di esempi per l’addestramento ricavate da ciascun campione reale. In concreto, esploriamo diversi modi per alterare l’immagine originale (per esempio Crop, Shuffle e Mask) e ottenere coppie di dati per l’addestramento dallo stesso campione; su un’architettura di diffusione condizionata costruiamo inoltre una solida baseline (TextRIRO}). I nostri esperimenti mostrano che combinare il rimescolamento delle colonne di caratteri con il ritaglio dell’immagine (Shuffle&Crop) elimina efficacemente il significato del testo, preservando al contempo gli indizi stilistici fondamentali. Il modello può così apprendere come modificare il testo direttamente dall’immagine reale. Grazie a questa soluzione concisa ma orientata ai dati reali, TextRIRO ottiene risultati promettenti sia per accuratezza sia per realismo visivo nei benchmark basati su immagini del mondo reale, riducendo sensibilmente il divario tra dati sintetici e dati reali. Usiamo inoltre TextRIRO per creare TextRIRO-3M, un dataset realistico su larga scala per il riconoscimento di testi lunghi, concatenando immagini modificate e originali. I risultati sperimentali mostrano che addestrare modelli di riconoscimento con TextRIRO-3M migliora significativamente l’accuratezza del riconoscimento, a dimostrazione che TextRIRO fornisce risorse di addestramento molto utili per le applicazioni successive. Nel complesso, TextRIRO porta la STE a nuovi livelli di realismo, affidabilità e ampia applicabilità. Il codice è disponibile all’indirizzo https://github.com/YesianRohn/TextRIRO.