Scomporre i radicali, poi premiare: un’analisi dettagliata per riprodurre fedelmente il testo cinese

Abstract degli autori

Riprodurre correttamente il testo cinese resta una sfida per i modelli che generano immagini a partire da testo. Le ricompense per l’apprendimento per rinforzo basate sull’OCR confrontano le trascrizioni riconosciute con le stringhe di riferimento. Queste ricompense trascurano la natura compositiva della scrittura cinese: un ideogramma è formato da componenti riutilizzabili disposte secondo relazioni spaziali esplicite, mentre l’OCR lo valuta come un carattere indivisibile. Di conseguenza, errori visivamente diversi a livello dei radicali possono ricevere riscontri altrettanto grossolani, favorendo glifi che si limitano ad assomigliare al carattere richiesto anziché riprodurne fedelmente la struttura interna. Utilizziamo le Ideographic Description Sequences (IDS), composte da operatori spaziali e componenti dei caratteri, e addestriamo un riconoscitore IDS specializzato a trascrivere in questa rappresentazione il testo cinese generato. Su questa base introduciamo IDSpect, che scompone in modo deterministico il testo di riferimento in token IDS e allinea le predizioni visive IDS dei singoli ritagli alla sequenza di riferimento. L’attribuzione del credito a token univoci a livello globale rende il confronto robusto rispetto all’ordine in cui vengono rilevate le regioni di testo. Combinato con una ricompensa semantica per il carattere nel suo insieme, IDSpect fornisce un riscontro dettagliato su componenti e relazioni spaziali senza modificare il generatore di immagini né aggiungere costi in fase di inferenza. Esperimenti di post-addestramento di Qwen-Image con GRPO mostrano che IDSpect raggiunge risultati ai vertici per qualità strutturale e allineamento semantico su LongText e GenTextEval.