Attenzione al divario spaziale: un benchmark per il ragionamento geospaziale e la modifica spaziale vincolata

Abstract degli autori

Comprendere e manipolare le relazioni spaziali è fondamentale per i sistemi di IA che ragionano sugli ambienti fisici e costruiscono modelli del mondo ancorati alla realtà. Tuttavia, le valutazioni esistenti dei modelli linguistici multimodali di grandi dimensioni (MLLM) nel ragionamento spaziale si basano prevalentemente su domande e risposte (QA) relative a scene statiche, di piccola scala o sintetiche, e raramente verificano se i modelli sappiano modificare configurazioni spaziali rispettando vincoli geometrici espliciti. Presentiamo GeoSpatialBench, un benchmark progettato per valutare una progressione di compiti di cognizione spaziale via via più impegnativi: dalla comprensione delle relazioni spaziali e dal ragionamento geometrico alla modifica spaziale vincolata. Basato su dati urbani reali di sei città geograficamente diverse, GeoSpatialBench valuta una tassonomia completa di 28 relazioni topologiche, direzionali, metriche e di ordinamento nelle modalità GeoJSON strutturato e immagini cartografiche, con riferimenti di ground truth e vincoli verificati mediante operazioni GIS. La nostra valutazione empirica degli MLLM di frontiera rivela un netto divario spaziale: il GeoJSON strutturato supera sistematicamente le immagini cartografiche, mentre le combinazioni multimodali non offrono miglioramenti affidabili rispetto al solo GeoJSON. Inoltre, sebbene i modelli mostrino una discreta competenza nelle relazioni topologiche e di ordinamento qualitative, le prestazioni calano nelle relazioni metriche quantitative. Soprattutto, le prestazioni nella modifica delle relazioni di ordinamento peggiorano rispetto alle domande e risposte, e la maggior parte delle modifiche non riuscite viola almeno uno dei vincoli spaziali specificati. Questi risultati mettono in luce il divario tra il riconoscimento passivo delle relazioni spaziali e la manipolazione attiva delle configurazioni geometriche. GeoSpatialBench offre un banco di prova diagnostico aperto e rigoroso per misurare questi limiti spaziali, ponendo le basi empiriche essenziali per modelli del mondo ancorati alla realtà fisica e per un’IA spaziale incarnata.