Ascoltare, localizzare e ragionare: comprensione delle scene con consapevolezza spaziale per gli LLM audiovisivi

Abstract degli autori

I modelli linguistici di grandi dimensioni audiovisivi (AV-LLM) hanno compiuto notevoli progressi nella comprensione multimodale, ma la maggior parte tratta l’audio come contenuto semantico monofonico. Questo ne limita la capacità di ragionare sulla provenienza dei suoni e sul loro rapporto con la scena visiva. Studi recenti sull’audio spaziale e la visione affrontano alcuni aspetti del problema, ma spesso si concentrano su capacità specifiche, come la corrispondenza spaziale o il ragionamento sulla direzione e sulla distanza. In questo lavoro presentiamo HLR-AVSceneQA, un benchmark completo basato su una gerarchia «ascoltare-localizzare-ragionare», che valuta se i modelli sappiano riconoscere ciò che si sente, localizzare le sorgenti sonore da prospettive egocentriche e allocentriche e usare le sorgenti così localizzate per ragionare sul loro rapporto con la scena visiva. Presentiamo inoltre HLR-LLM, che integra un solido modello di base audiovisivo con un ramo per l’audio spaziale binaurale, affiancato al suo percorso per l’audio semantico monofonico. Addestriamo HLR-LLM con un percorso graduale che incorpora, nella fase finale, una supervisione chain-of-thought per il ragionamento spaziale in più passaggi. Gli esperimenti mostrano che gli AV-LLM esistenti restano limitati nell’ancoraggio spaziale e nel ragionamento sulle relazioni, mentre HLR-LLM migliora notevolmente la comprensione spaziale delle scene audiovisive senza compromettere la percezione semantica audiovisiva.