FlowTranslator: traduzione automatica nelle immagini senza training con editing basato sul flusso

Abstract degli autori

La traduzione automatica nelle immagini (IIMT) sostituisce il testo presente in un’immagine con la sua traduzione, preservando il contesto visivo circostante. I modelli esistenti, specifici per questo compito, offrono prestazioni convincenti, ma richiedono grandi quantità di immagini appaiate prima e dopo la traduzione per essere addestrati. Poiché i modelli avanzati di generazione di immagini da testo (T2I) hanno raggiunto un livello pratico di generazione di testo multilingue, sosteniamo che questa capacità possa essere trasferita alla IIMT e presentiamo FlowTranslator. È un framework per la IIMT che non richiede addestramento: usa innanzitutto un modello OCR e un LLM per generare il prompt di traduzione, che viene inserito nel modello di diffusione basato su T2I. Per ottimizzare la generazione accurata e naturale del testo tradotto, introduciamo due controlli della traiettoria: Region Coupling Release (RCR) decorrela parzialmente il rumore del ramo target all’interno della regione di testo nelle prime fasi della traiettoria, mentre Coupling Expansion (CE) amplifica lo spostamento di editing che emerge a metà traiettoria. Con il protocollo di rilettura EasyOCR, FlowTranslator ottiene punteggi medi PRIM BLEU e COMET rispettivamente di 20,6 e 57,2, superando nettamente UniTranslator, una solida baseline basata sull’addestramento. Sulle fotografie ScenePair a immagine intera, più impegnative e realistiche, tradotte in cinese, raggiunge un’accuratezza di corrispondenza esatta del 40,1\% e supera i sistemi di editing esistenti, alcuni dei quali affrontano soltanto la fase di resa del testo anziché l’intero compito della IIMT. Questi risultati dimostrano che l’editing basato sul flusso è una solida baseline per la IIMT, interamente priva di addestramento.