ViTeX-Bench: un benchmark per la modifica ad alta fedeltà del testo nelle scene video

Abstract degli autori

La generazione di video è sempre più realistica e controllabile, ma la modifica dei video è meno sviluppata, soprattutto quando richiede interventi locali precisi che preservino le dinamiche della scena originale. La modifica del testo nelle scene video sostituisce il testo presente su superfici come insegne di negozi, lavagne ed etichette di prodotti, preservando il contenuto circostante, il movimento e le dinamiche della telecamera. Sebbene la modifica del testo nelle scene sia stata ampiamente studiata per le immagini, quella applicata ai video resta poco esplorata quando deve garantire un’elevata qualità visiva, coerenza temporale e modifiche circoscritte. Le risorse esistenti offrono pochi dati appaiati tratti da video reali, mentre le metriche generali per la modifica dei video non misurano direttamente se il testo richiesto rimane corretto nel tempo. Presentiamo ViTeX-Bench, una suite di benchmark composta da ViTeX-Dataset e da un protocollo di valutazione su tre assi. Il dataset contiene 387 video reali a 720p, con maschere delle regioni di testo e istruzioni per la modifica: 230 includono modifiche appaiate generate tramite una pipeline e sottoposte a revisione per l’addestramento, mentre 157 costituiscono una partizione di valutazione fissa. Il protocollo valuta la correttezza del testo, la qualità visiva e temporale e il carattere circoscritto delle modifiche attraverso 13 metriche, con una metrica principale per ciascun asse e un confronto di Pareto dei relativi compromessi. La calibrazione dell’OCR, la valutazione umana e le analisi della sensibilità alle annotazioni aiutano a interpretare questi punteggi. Nei risultati di otto sistemi di riferimento appartenenti a quattro famiglie di metodi di modifica, ottenere insieme un testo accurato, stabilità temporale e preservazione della scena resta difficile. Rendiamo disponibile anche ViTeX-Edit-14B, un editor di riferimento open source sottoposto a fine-tuning sulla partizione di addestramento appaiata, con un condizionamento basato su video di glifi allineati al movimento. Ottiene un valore di CharAcc pari a 0,688, la media più alta tra gli editor nativi per video valutati, e il valore di Warp più basso, a parità di condizioni di confronto, sui ritagli del testo tra gli output grezzi degli editor. ViTeX-Bench offre una base riproducibile per studiare questi compromessi nella modifica del testo nelle scene video.