Ascoltare il mondo in stereo: imparare la corrispondenza spaziale dinamica per una generazione immersiva e congiunta di video e audio

Abstract degli autori

I recenti modelli di generazione congiunta di video e audio hanno raggiunto un’elevata corrispondenza semantica e sincronizzazione temporale. Tuttavia, applicazioni come AR/VR e videogiochi interattivi richiedono anche l’audio stereofonico per offrire un’esperienza immersiva, un aspetto finora in gran parte trascurato. Perché l’audio stereofonico sia efficace, la posizione percepita del suono deve cambiare in modo coerente con il movimento della sorgente visiva corrispondente. Chiamiamo questa proprietà corrispondenza spaziale dinamica e proponiamo StereoBind, un framework che lega il movimento della sorgente visiva alla generazione del suono stereofonico. StereoBind usa traiettorie di movimento per coordinare il movimento visivo e l’audio stereofonico attraverso tre meccanismi complementari. Visual Motion Binding stabilisce una corrispondenza audiovisiva che tiene conto della sorgente, Spatial Track Encoder rileva le posizioni assolute delle sorgenti e Residual Track RoPE modella il movimento relativo. Per l’addestramento supervisionato e la valutazione, realizziamo StereoWorld-29K, un dataset su larga scala di audio e video stereofonici con traiettorie di movimento abbinate, e StereoWorldBench, per misurare la coerenza spaziale audiovisiva. Gli esperimenti mostrano che StereoBind migliora notevolmente l’allineamento spaziale nella generazione di audio stereofonico rispetto ai modelli esistenti, preservando al contempo la qualità audiovisiva complessiva.