Estrazione audio-video efficiente in streaming del parlante bersaglio in scenari acustici reali

Abstract degli autori

L’estrazione audio-video in streaming del parlante bersaglio (AVTSE) è essenziale per le applicazioni sensibili alla latenza. Tuttavia, gli attuali sistemi causali presentano due lacune correlate. In primo luogo, i benchmark standard fissano a due il numero di parlanti e ignorano le interferenze in campo vicino e lontano, il riverbero e i rumori improvvisi degli scenari reali. In secondo luogo, le architetture causali ad alte prestazioni sono troppo pesanti per l’impiego su dispositivi edge. Le alternative leggere cercano di recuperare capacità richiamando ripetutamente un piccolo separatore, vanificando così i risparmi. Per affrontare la prima lacuna, rendiamo disponibile RealSSA, un benchmark realistico per l’AVTSE composto da RealSSA-Sim e RealSSA-Real. RealSSA-Sim offre scenari simulati controllabili con 1--5 parlanti interferenti dinamici in campo vicino; gli scenari con interferenze in campo lontano includono inoltre 10--15 parlanti interferenti in campo lontano. RealSSA-Real offre un insieme di valutazione separato, basato su registrazioni reali. Per affrontare la seconda lacuna, proponiamo Falcon, un metodo AVTSE causale. Il suo separatore esegue la separazione tempo-frequenza su più scale in un singolo passaggio encoder--decoder. Addestriamo Falcon con una funzione di perdita contrastiva tra parlanti nello spazio dell’encoder. Questa funzione sopprime le infiltrazioni di segnale in campo vicino senza costi in fase di inferenza ed è trasferibile tra diverse architetture backbone. Falcon raggiunge una qualità di estrazione allo stato dell’arte su RealSSA-Sim, LRS2-2Mix, LRS3-2Mix e VoxCeleb2-2Mix. Rispetto alla baseline causale AV-TFGridNet, riduce i parametri del 91,9%, il carico computazionale di 20,2 volte e la latenza di inferenza su GPU di 11,1 volte. Il codice e la demo sono disponibili su https://cslikai.cn/Falcon/.