WorldSonus: dare suono ai mondi

Abstract degli autori

I recenti progressi nei modelli del mondo hanno reso possibile una sintesi visiva sempre più realistica. Tuttavia, gli ambienti generati restano in gran parte silenziosi. Dare suono ai modelli del mondo pone tre sfide fondamentali: generare audio in tempo reale per tenere il passo con i flussi video interattivi, consentire un controllo interattivo per rispondere alle istruzioni sul suono impartite durante il flusso e produrre audio stereo allineato spazialmente che rispecchi la geometria della scena e i movimenti della telecamera. Per affrontare queste esigenze, presentiamo WorldSonus, un framework interattivo per generare audio da video, progettato per la sintesi di audio spaziale in tempo reale nei modelli del mondo. Per la generazione in tempo reale, WorldSonus impiega un’architettura di diffusione autoregressiva causale in streaming che sintetizza blocchi audio con un basso fattore di tempo reale (RTF) pari a 0,41. Per il controllo interattivo, integriamo una pipeline di descrizione incentrata sull’audio con una programmazione dei prompt indicizzata per blocchi, che consente di modificare dinamicamente gli eventi sonori durante la generazione. Per l’allineamento spaziale, sfruttiamo una supervisione stereo di alta qualità ottenuta da una varietà di dati stereo e ambisonici. Ampi esperimenti dimostrano che, pur essendo progettato per i modelli del mondo, WorldSonus si generalizza efficacemente ai benchmark di generazione audio da video in dominio aperto, eguagliando o superando i modelli bidirezionali più avanzati sia per qualità acustica sia per allineamento spaziale. Pagina del progetto: https://noizai.github.io/WorldSonus/