LiveFoley: generazione dinamica in tempo reale da video ad audio per mondi interattivi immersivi

Abstract degli autori

La generazione in streaming da video ad audio (V2A) è essenziale per le applicazioni interattive immersive. Tuttavia, i vincoli del tempo reale fanno sì che gli attuali metodi V2A in streaming siano molto inferiori ai modelli offline: (1) i frontend visivi riducono i campi recettivi per contenere la latenza di look-ahead, compromettendo gravemente l’allineamento audio-visivo; (2) i backend di diffusione autoregressiva causale denoisano ogni patch audio isolatamente, peggiorando la qualità audio. A tal fine, presentiamo LiveFoley, un’architettura di diffusione autoregressiva causale in streaming che affronta entrambi i colli di bottiglia con una latenza impercettibile. Per il frontend visivo, introduciamo una Trailing Sliding Window, che trasforma encoder non causali a livello di segmento in moduli in streaming senza riaddestramento. Semplicemente riallineando la finestra, mantiene un allineamento audio-visivo preciso, mentre una dimensione del passo configurabile riduce il look-ahead del frontend ben al di sotto della soglia di percezione umana. Sulla base di questa dimensione del passo regolabile, proponiamo lo Unified Varhop Framework per adattarsi a scenari con budget diversi in termini di latenza e calcolo. Per il backend audio, esploriamo l’ampliamento della finestra di denoising del componente head del transformer di diffusione locale (LocDiT) in due direzioni temporali. History LocDiT aggiunge contesto passato per migliorare la qualità senza costi in termini di latenza ed è la nostra opzione predefinita. In alternativa, Future-Warmup LocDiT supera lo stallo autoregressivo con una condizione futura approssimata, migliorando ulteriormente la qualità della generazione al costo di un look-ahead accettabile nel backend. Esperimenti approfonditi dimostrano che LiveFoley eguaglia i modelli offline nell’allineamento temporale e offre una qualità di generazione superiore a quella dei sistemi in streaming. Pagina del progetto: https://dalision.github.io/livefoley-page/