TaoMate-FVSR: ripristino di video facciali guidato dall’audio

Abstract degli autori

I video generati dall’IA spesso raffigurano persone in scene dettagliate, ma le piccole aree del volto risultano poco definite. La super-risoluzione visiva può rendere più nitide queste aree senza chiarire se le labbra e i denti ricostruiti siano in accordo con l’audio parlato. Presentiamo un framework di ripristino di video facciali guidato dall’audio che affronta questa ambiguità all’interno di un modello di flusso video guidato da riferimenti. La miscelazione sorgente-rumore avvia la ricostruzione a partire da un’osservazione conservata solo in parte, mentre l’iniezione strutturata di riferimenti separa gli ancoraggi dell’aspetto dal contesto del movimento continuo. L’addestramento combina il ripristino di immagini e video degradati con la correzione di sorgenti doppiate degradate, usando l’audio di destinazione. La supervisione dell’aspetto e della sincronizzazione consente al modello di recuperare i dettagli del volto e supporta il doppiaggio visivo quando l’audio viene sostituito. Nei benchmark di ripristino di video di persone che parlano, il nostro metodo ottiene, tra quelli dei metodi di ripristino confrontati, i migliori punteggi appaiati di similarità percettiva e sincronizzazione. I confronti tra componenti esaminano il condizionamento audio, la formulazione della ricostruzione e l’iniezione di riferimenti. Gli esempi AIGC nativi illustrano inoltre il recupero dei contorni delle labbra, della struttura dentale e della texture circostante del volto in filmati a livello di scena. iniezione. Gli esempi AIGC nativi illustrano inoltre il recupero dei contorni delle labbra, della struttura dentale e della texture circostante del volto in filmati a livello di scena.