Align Then Reason: un giudice multimodale della sincronizzazione labiale per il doppiaggio

Abstract degli autori

Il controllo della qualità del doppiaggio richiede un sistema di valutazione senza riferimenti che stabilisca se una battuta candidata corrisponde all’articolazione visibile di chi parla, sia nel contenuto sia nei tempi, usando soltanto video muto e testo, perché l’audio doppiato potrebbe non esistere ancora. I sistemi esistenti di riconoscimento visivo del parlato e i modelli video-linguistici sono poco adatti a questo compito: anche quando vengono sottoposti a fine-tuning per ricostruire il parlato dai movimenti delle labbra, restano in larga misura insensibili agli errori temporali. Presentiamo $\textit{Align Then Reason}$ (ATR), un sistema multilingue per valutare la sincronizzazione labiale che prima stabilisce un allineamento monotono tra le rappresentazioni delle labbra a livello di frame e le unità fonetiche della battuta candidata, poi usa quell’allineamento per formulare il giudizio finale. Un sistema di calcolo dell’allineamento fornisce all’LLM sia indizi locali per ciascuna unità fonetica sia un punteggio globale calibrato dell’allineamento, consentendogli di valutare congiuntamente contenuto e tempi. Su un benchmark in sette lingue, il nostro metodo migliora l’AUC media rispetto alle corrispondenti baseline Qwen3.5 SFT del 59,4%, 50,2% e 50,8% con modelli di ragionamento da 2B, 4B e 9B, rispettivamente. I miglioramenti si estendono a diverse famiglie di LLM: l’AUC media cresce del 45,9% e del 46,6% rispetto alla migliore baseline rispettivamente per LLaMA-3.1-8B e Mistral-7B. I risultati si trasferiscono anche ad altri dataset, in tre lingue di MuAViC non incontrate in precedenza. Inoltre, valutiamo il metodo su due compiti successivi costruiti a partire da battute di doppiaggio reali. Nel riordinamento delle battute doppiate, ATR-9B supera del 52,0% la migliore baseline di lettura labiale; nell’assegnazione del copione ai clip, ATR-9B la supera del 17,7%.