Urbex: ancoraggio spaziale agentico in scene 3D su scala urbana

Abstract degli autori

L’ancoraggio in scene 3D su scala urbana è comunemente formulato come un problema di ranking dei candidati, che richiede proposte di istanze precalcolate e diventa inefficiente nelle grandi scene all’aperto. Proponiamo Urbex, un framework agentico di visione e linguaggio che tratta invece l’ancoraggio come una ricerca spaziale attiva. Urbex rappresenta una scena 3D su scala urbana come un ambiente interattivo a viste multiple, nel quale un agente VLM può interrogare punti di riferimento, ingrandire aree locali, generare viste oblique e fissare una bounding box ancorata alla scena. Ottimizziamo questa strategia di utilizzo degli strumenti con l’apprendimento per rinforzo su CityRefer, impiegando ricompense di localizzazione graduali e ricompense leggere di shaping per rendere efficiente l’esplorazione. Gli esperimenti mostrano che Urbex ottiene i migliori risultati per Hit@1 e IoU su CityRefer, consente l’ancoraggio senza candidati e senza bounding box di riferimento ed è notevolmente più veloce della migliore baseline di ranking su scala urbana. I risultati zero-shot su STPLS3D-Refer indicano inoltre una maggiore robustezza nel passaggio da una scena all’altra.