SpatialASM: interiorizzare la mentalizzazione attiva per il ragionamento spaziale

Abstract degli autori

Quando affrontano compiti complessi di ragionamento spaziale, le persone tornano spontaneamente a osservare le scene da punti di vista pertinenti al compito e ne ricostruiscono mentalmente la disposizione spaziale. Ma i grandi modelli visivo-linguistici (LVLM) possono pensare in questo modo di propria iniziativa? Chiamiamo questa capacità mentalizzazione spaziale attiva (ASM): una componente intrinseca dell’intelligenza visiva che negli attuali LVLM resta ancora ampiamente sottosviluppata. Per colmare questa lacuna, presentiamo SpatialASM, un framework scalabile che permette agli LVLM di interiorizzare l’ASM attraverso la simulazione spaziale durante l’addestramento. SpatialASM impiega un generatore allocentrico di nuove viste per ancorare punti di vista ipotetici a evidenze visive e produce due forme complementari di supervisione: i) traiettorie ASM esplicite, che insegnano agli LVLM quando e come ricorrere in modo adattivo alla pianificazione dei punti di vista e all’immaginazione durante il ragionamento spaziale; ii) compiti di assunzione di prospettiva costruiti automaticamente, che rafforzano ulteriormente la capacità di immaginare una scena in funzione del punto di vista. Su sette benchmark, che spaziano dalla comprensione spaziale relativamente orientata alla percezione a compiti più impegnativi che richiedono ragionamento su più immagini, tra viste diverse e sulle trasformazioni del punto di vista, SpatialASM migliora le prestazioni nel ragionamento spaziale di LVLM basati su quattro architetture di base, preservandone le capacità visive generali originarie. I risultati sperimentali mostrano un aumento dell’accuratezza media sui sette benchmark spaziali. La sintesi di traiettorie ASM offre inoltre un modo scalabile per attenuare la scarsità di supervisione per la Chain-of-Thought (CoT) spaziale, necessaria a stimolare l’esplorazione attiva dei punti di vista e la simulazione mentale della scena.