Gli esseri umani nello spazio: gli MLLM possono sviluppare una comprensione spaziale incentrata sull’essere umano attraverso un’esplorazione esocentrica attiva?

Abstract degli autori

Sebbene i modelli linguistici multimodali di grandi dimensioni (MLLM) eccellano nel ragionamento zero-shot, le loro capacità spaziali vengono valutate principalmente attraverso osservazioni statiche e passive. Nelle scene complesse incentrate sulle persone, le occlusioni spesso nascondono indizi geometrici cruciali, mentre i benchmark passivi costringono i modelli a tirare a indovinare anziché a riconoscere la propria incertezza visiva. Per colmare questa lacuna, presentiamo SATE-Bench, un nuovo benchmark interattivo che comprende 316 scene del mondo reale e 2.525 coppie di domande e risposte articolate su più turni, con cui valutare la consapevolezza visiva di sé e l’esplorazione attiva di punti di vista esocentrici. Il benchmark combina una condizione di controllo passiva multivista con una di esplorazione attiva: i modelli partono da una visuale fortemente ostruita e devono richiedere iterativamente punti di vista adiacenti finché non raccolgono prove sufficienti a «soddisfare» pienamente la domanda. Il risultato viene valutato con una ricompensa per l’efficienza che penalizza il numero di passi. La valutazione di MLLM all’avanguardia rivela che interrompono prematuramente l’esplorazione pur dichiarando un’elevata sicurezza nelle risposte e che incontrano difficoltà nei compiti di geometria 3D che richiedono un elevato livello di dettaglio. Condizioni di controllo con gli stessi punti di vista attribuiscono inoltre il divario tra esplorazione attiva e osservazione passiva principalmente all’acquisizione di prove insufficienti. Il fine-tuning con Group Relative Policy Optimization (GRPO) mostra inoltre che premiare la ricerca di punti di vista aumenta l’esplorazione attiva, ma riduce l’accuratezza complessiva: i modelli esplorano troppo e non riescono a integrare, nel corso dei turni, contesti multivista sempre più ampi. Questi risultati indicano che ampliare la percezione passiva multivista non produce di per sé capacità di ragionamento spaziale attivo e sottolineano la necessità di modelli che sappiano dove guardare, come integrare ciò che vedono e quando fermarsi. Codice e dati sono disponibili all’indirizzo https://gtc-gh.github.io/SATE-Bench/