Generazione e modifica di audio spaziale con piani eseguibili e Transfusion con auto-distillazione

Abstract degli autori

La creazione di audio spaziale coordina le scelte relative alle sorgenti con la sintesi del campo sonoro. Nella modifica, i piani specificano cosa cambiare e cosa mantenere, mentre l’audio di riferimento fornisce ulteriori dettagli acustici. Presentiamo AMBIT, un framework unificato per la generazione e la modifica native di audio Ambisonics del primo ordine (FOA), basato su tre contributi collegati. Primo, un’architettura Transfusion condivisa combina la pianificazione autoregressiva con il rendering tramite rectified flow mediante ScenePlans eseguibili, che specificano il contenuto delle sorgenti, la loro attività e le traiettorie 3D. Per la modifica, il piano descrive l’intera scena di destinazione, comprese le sorgenti mantenute; le caratteristiche contrastive ancorano la modifica richiesta, mentre le rappresentazioni latenti complete dell’audio di riferimento forniscono i dettagli acustici residui necessari alla preservazione. Secondo, un VAE continuo progettato per FOA combina la ricostruzione omnidirezionale con decoder condiviso, una regolarizzazione KL asimmetrica per gruppi e la corrispondenza della covarianza spaziale, per preservare il contenuto e la struttura tra i canali. Terzo, l’auto-distillazione on-policy congiunta di Transfusion (OPSD) perfeziona la pianificazione su prefissi generati dal modello studente e il rendering negli stati di campionamento raggiunti seguendo i piani dello studente, con modelli insegnanti condizionati dalla scena di destinazione che supervisionano entrambe le modalità del modello studente condiviso. Le valutazioni su parlato, musica e suoni mostrano, rispetto ai metodi di riferimento confrontati, miglioramenti nel contenuto e nella qualità spaziale della generazione, nella fedeltà acustica durante la modifica guidata da istruzioni e nella preservazione delle sorgenti non modificate. Pagina del progetto: https://wjm-george.github.io/AMBIT/