VidDub: distillazione consapevole della sostituzione per il doppiaggio video in due passaggi

Abstract degli autori

Il doppiaggio video mira a sintetizzare movimenti delle labbra che corrispondano al parlato target, preservando al contempo l’identità del parlante, la posa della testa e lo sfondo del video sorgente. Gli editor esistenti vengono addestrati prevalentemente tramite auto-ricostruzione con l’audio originale appaiato, anche se la bocca sorgente diventa un obiettivo in conflitto quando si sostituisce il parlato di guida. Introduciamo una supervisione cross-audio consapevole della sostituzione: i campioni con audio appaiato usano la ricostruzione dell’intero fotogramma, mentre nei campioni con audio sostitutivo non appaiato si mascherano le perdite di ricostruzione della bocca sorgente e la supervisione della bocca avviene esclusivamente tramite la sincronizzazione audio-visiva, preservando le regioni del volto non mascherate e lo sfondo. Poiché il doppiaggio offline mette a disposizione in anticipo il video sorgente completo e il parlato target, presentiamo VidDub, un editor a diffusione con contesto completo distillato in due passaggi di denoising (2 NFE). Il nostro modello teacher consapevole della sostituzione apprende innanzitutto una sincronizzazione labiale accurata senza regredire verso i movimenti della bocca sorgente in conflitto. La regressione su traiettorie appaiate trasferisce quindi le traiettorie del teacher guidate da CFG a uno student a due passaggi, mentre la distillazione con matching della distribuzione recupera la qualità visiva dopo la compressione dei passaggi. Renderemo disponibili il dataset di addestramento selezionato, VidDub-Bench, i manifest fissi per la valutazione con audio appaiato e cross-audio, gli output di preelaborazione e il codice di valutazione unificato. Su tre seed di addestramento, mascherare le perdite di ricostruzione della bocca sorgente in conflitto migliora Sync-C cross-audio di 0,833; il modello finale a due passaggi combina una forte sincronizzazione labiale con una qualità visiva, una conservazione dell’identità e un riconoscimento visivo del parlato superiori su quattro benchmark.