SpatialScout: gli agenti VLM possono esplorare attivamente e mappare scene 3D?

Abstract degli autori

L’intelligenza spaziale richiede che gli agenti acquisiscano attivamente informazioni visive e integrino le osservazioni in una rappresentazione coerente del mondo tridimensionale. Tuttavia, le risposte a domande di natura spaziale offrono indicazioni limitate sulla capacità dei modelli di costruire mappe metriche accurate attraverso l’esplorazione autonoma. Presentiamo SpatialScout, un benchmark per valutare gli agenti basati su modelli visivo-linguistici (VLM) nella mappatura 3D attiva a livello dei singoli oggetti. SpatialScout comprende 80 diverse scene di interni contenenti 3.140 oggetti bersaglio. Disponendo di un inventario degli oggetti, osservazioni RGB, dati di calibrazione e pose della fotocamera, gli agenti controllano una fotocamera per esplorare ogni scena e stimare i centri degli oggetti in un sistema di coordinate comune. Il compito richiede di coordinare la scelta dei punti di vista, l’associazione tra osservazioni da punti di vista diversi, la stima geometrica e la revisione della mappa entro budget di interazione limitati. La valutazione misura congiuntamente l’accuratezza della localizzazione e la copertura degli oggetti bersaglio mediante punteggi di sovrapposizione calcolati alla scala degli oggetti, che penalizzano le predizioni mancanti. Gli esperimenti con VLM di frontiera rivelano limiti sostanziali: il modello più efficace tra quelli valutati, Claude Opus 5.5, ottiene un punteggio medio di sovrapposizione del 41,71%, con il 47,23% degli oggetti bersaglio che supera una soglia di intersection-over-union (IoU) di 0,5 e solo il 3,25% che supera 0,9. Questi risultati rivelano un divario sostanziale tra la ricostruzione della disposizione approssimativa degli oggetti e la costruzione di mappe metriche complete e precise. SpatialScout offre un banco di prova quantitativo per sviluppare agenti che costruiscano rappresentazioni spaziali 3D affidabili attraverso la percezione attiva. Il codice è disponibile all’indirizzo https://github.com/JesseZZZZZ/SpatialScout.