Dalle brevi clip ai flussi in tempo reale: supervisione sensibile all’identità e generazione efficiente nell’uso del contesto per il face swapping nei video

Abstract degli autori

Il face swapping nei video trasferisce l’identità del volto di riferimento a un video bersaglio, preservandone gli altri attributi e il movimento. Nonostante i recenti progressi dei metodi basati sul flow matching e guidati da un riferimento, resta difficile ottenere insieme un trasferimento fedele dell’identità, un’elevata fedeltà visiva e una generazione in tempo reale su lunghi flussi video. Per affrontare questa sfida, ripensiamo la struttura specifica del face swapping nei video guidato da un riferimento. In primo luogo, il face swapping modifica soltanto l’identità, preservando gran parte del contenuto visivo, ma la supervisione del flow matching è poco sensibile a questi cambiamenti. Sviluppiamo quindi Joint Rec-ID Loss, che bilancia la supervisione esplicita dell’identità e la ricostruzione latente in funzione del livello di rumore. In secondo luogo, il video bersaglio fornisce già gli attributi non modificati e le dinamiche temporali: Face-RoI Generation e Short-Context Rollout Training consentono così la generazione con meno token spaziali e contesti temporali più brevi. Integrando queste soluzioni, proponiamo StreamingSwap, un framework di flow matching guidato da un riferimento per il face swapping di video in streaming in tempo reale. Presentiamo inoltre HumanFaceVid, che comprende 1.000 ore di dati cinematografici per l’addestramento e set di valutazione di 200 video brevi e 200 video lunghi. Gli esperimenti dimostrano che il nostro metodo raggiunge risultati competitivi nel trasferimento dell’identità e nella qualità visiva a 20 FPS su una sola GPU NVIDIA RTX 4090, con una generazione stabile su video lunghi fino a 10 minuti. Pagina web del progetto: https://aim-uofa.github.io/StreamingSwap/