OmniEcho: comprensione audio-visiva dello spazio per agenti incarnati omnmodali

Abstract degli autori

Gli esseri umani riescono senza sforzo a localizzare la direzione di una sorgente sonora e a integrarla con indizi visivi per ragionare, ma per gli agenti incarnati questo resta difficile. In particolare, non è ancora chiaro come valutare e modellare efficacemente la comprensione dell’audio spaziale in contesti di agenti incarnati. Per colmare questa lacuna, presentiamo \textbf{OmniEchoBench}, un benchmark unificato per la percezione audio-visiva spaziale e la navigazione basata su audio, visione e linguaggio. OmniEchoBench comprende sei compiti basati su 197 scene audio-visive spaziali del mondo reale, 2.972 coppie domanda-risposta e 900 esempi di navigazione con audio ambisonico di primo ordine (FOA), raccolti in 30 ambienti reali. Per fornire supervisione scalabile all’addestramento, sviluppiamo una pipeline di rendering controllabile per l’audio spaziale, che preserva la coerenza geometrica tra le sorgenti sonore, le osservazioni visive e le traiettorie degli agenti. Su queste basi, proponiamo \textbf{OmniEcho}, un modello omnmodale consapevole dello spazio. Il modello introduce un codificatore spaziale FOA affiancato a un percorso semantico audio preaddestrato. Esperimenti approfonditi mostrano che OmniEcho raggiunge prestazioni all’avanguardia nella percezione audio-visiva spaziale. Nella navigazione guidata dal suono, OmniEcho raggiunge prestazioni vicine a quelle della tradizionale navigazione basata su visione e linguaggio. Questi risultati dimostrano che l’audio spaziale può essere un segnale prezioso per il ragionamento e la navigazione degli agenti incarnati negli ambienti, mettendo al contempo in evidenza la localizzazione spaziale di precisione e la stima della distanza come importanti sfide ancora aperte. Il codice e i dati saranno disponibili all’indirizzo https://github.com/PKU-VaLuE-Lab/OmniEcho/tree/main