S-Agent 2.0: ragionamento spaziale con un agente generalista per la programmazione

Abstract degli autori

Il ragionamento spaziale richiede a un modello di determinare dove si trovano gli oggetti nello spazio 3D, quali relazioni hanno tra loro e come si muovono. Di recente, i VLM agentici hanno prodotto notevoli miglioramenti in questi compiti, consentendo al modello di raccogliere attivamente evidenze con strumenti di percezione 3D anziché rispondere in un unico passaggio. Eppure, per molte domande, gli strumenti forniscono le evidenze corrette e il modello continua a non trovare la risposta giusta: resta aperto il divario tra modello e strumenti, nel passaggio dalle misurazioni grezze a conclusioni utilizzabili. Presentiamo S-Agent 2.0, un agente per il ragionamento spaziale che dota un agente generalista per la programmazione già disponibile di un insieme di strumenti di percezione da riga di comando. L’interfaccia è progettata attorno a un principio: aiutare il VLM a chiudere il ciclo delle evidenze, acquisendo dati sulla scena, conservandoli in una memoria persistente della scena e interpretando ogni misurazione in un linguaggio spaziale chiaro. Questa impostazione conserva tutta la flessibilità di un agente per la programmazione, mentre ogni misurazione su cui l’agente si basa resta ancorata alla geometria degli strumenti. Su MMSI-Bench e ReVSI, gli strumenti migliorano i risultati di un valido modello open source, Qwen3.8-27B, rispettivamente di 13,9 e 20,5 punti rispetto allo stesso agente senza strumenti, e quelli di un valido modello a codice chiuso, Gemini-3.8-Flash, di 11,2 e 9,6 punti. Con il modello di base open source, S-Agent 2.0 raggiunge 66,5 su MMSI-Bench e 82,3 su ReVSI, superando il sistema specializzato SpatialClaw con lo stesso modello di base (62,6 e 74,5); con Gemini-3.8-Flash raggiunge invece 74,1 e 90,5, contro 67,0 e 79,7 di SpatialClaw. I miglioramenti apportati dagli strumenti in entrambi i sistemi si riducono man mano che il modello di base diventa più capace, ma su ReVSI quello di SpatialClaw cala molto di più, da 13,2 a 2,7 punti, mentre il nostro resta a 9,6 punti. S-Agent 2.0 funziona anche con diversi ambienti per agenti generalisti di programmazione, come Codex e Claude Code.