Spatial Harness: ancorare il ragionamento spaziale a stati del mondo eseguibili con motori fisici

Abstract degli autori

Il ragionamento spaziale richiede di comprendere come sono disposti gli oggetti e gli osservatori in una scena e come cambiano le loro relazioni al variare del punto di vista o con il movimento. I modelli visione-linguaggio (VLM) svolgono in genere entrambi i passaggi tramite un ragionamento interno al modello: ricavano un’interpretazione implicita della scena da viste parziali e immaginano le conseguenze delle trasformazioni spaziali. Un’interpretazione errata della scena può portare a una risposta sbagliata, mentre un’interpretazione corretta non garantisce che le trasformazioni immaginate rispettino i vincoli spaziali. Presentiamo Spatial Harness, che rappresenta le scene come stati del mondo espliciti ed eseguibili, per ancorare il ragionamento spaziale ai riscontri dei motori fisici. Un Perceiver integra i vincoli sulla scena ricavati dalla domanda con stime visive specializzate, per posizionare gli oggetti e le telecamere in un sistema di coordinate condiviso. Lo stato risultante viene istanziato in un motore fisico, dove un Reasoner esegue cambiamenti del punto di vista e usa misurazioni calcolate e viste renderizzate per guidare il ragionamento. Valutiamo il sistema su MindCube, SAT, MMSI-Bench e SpatialRGPT-Bench con VLM a pesi aperti e chiusi. Su MindCube, Spatial Harness migliora il risultato di Qwen3.5-27B dal 52,70% al 71,14%, superando pySpatial di 7,52 punti percentuali. A parità di pose annotate di oggetti e telecamere, raggiunge il 98,25%, contro il 71,81% ottenuto con il ragionamento interno al modello. Il codice è disponibile pubblicamente all’indirizzo: https://github.com/tmlr-group/Spatial-Harness