SepGen: separazione e generazione audio-video multitraccia in un unico modello

Abstract degli autori

Una scena audiovisiva 4D comprende un video, la geometria dinamica che vi è rappresentata e le sorgenti sonore che la popolano, ciascuna con una propria posizione e traiettoria. Per renderizzare la scena da un nuovo punto di vista, ogni sorgente deve essere disponibile come forma d’onda distinta, così da poterla localizzare nella scena e propagare fino all’osservatore prima di combinare i segnali. I generatori congiunti di audio e video possono sintetizzare il video e la relativa traccia audio, ma quest’ultima viene prodotta come un unico mix, nel quale non è possibile accedere alle singole sorgenti. Presentiamo SepGen, che estende un generatore audio-video preaddestrato affinché produca il video, il mix audio e una forma d’onda per ogni sorgente descritta da una didascalia in un’unica esecuzione del campionamento. SepGen supporta due modalità complementari: generazione e separazione. Nella modalità di generazione, la didascalia di ciascuna sorgente specifica il contenuto del relativo stem. Un dialogo tra due persone, per esempio, viene prodotto con uno stem per ciascuna, rispettando l’ordine originale degli interventi. Nella modalità di separazione, il mix audio in ingresso rimane pulito, mentre le didascalie indicano che cosa estrarre: il modello può così scomporre una registrazione a partire da una descrizione in testo libero. Valutiamo la generazione su scene sintetizzate a partire da testo e la separazione su scene renderizzate da altri generatori e su registrazioni reali di parlato, musica ed effetti sonori. Dati un mix audio e didascalie che riportano le battute pronunciate, SepGen supera i sistemi di separazione condizionati dal linguaggio, soprattutto nel parlato, e mantiene il vantaggio anche quando le battute vengono rimosse dalle didascalie. Codice, checkpoint e dataset sono disponibili all’indirizzo https://sepgen.github.io/