S-Space: esplorare lo spazio di lavoro spaziale nei modelli linguistici multimodali

Abstract degli autori

I modelli linguistici multimodali (MLLM) mostrano promettenti capacità di ragionamento spaziale, ma i meccanismi interni che le sostengono restano poco compresi. Individuiamo S-Space, un sottospazio lineare di rappresentazione in cui le rappresentazioni dei token degli oggetti codificano coordinate continue lungo gli assi orizzontale, verticale e della distanza. Sebbene identifichiamo questi assi differenziando i punteggi delle risposte spaziali rispetto alle attivazioni dei token degli oggetti, S-Space è intrinseco, anziché indotto da dati o prompt specifici, e resta leggibile anche in presenza di domande non spaziali. Mostriamo che S-Space funge da spazio di lavoro spaziale interno degli MLLM. La percezione vi codifica le posizioni degli oggetti, formando rappresentazioni spaziali da cui si possono ricavare direttamente le informazioni necessarie per formulare giudizi spaziali accurati. Il ragionamento interno lo trasforma quando cambia il punto di vista. Le risposte verbali vi accedono selettivamente, come mostrano interventi causali che modificano i giudizi spaziali lasciando in gran parte inalterate le risposte non spaziali. Alcuni casi di studio mostrano inoltre che S-Space assegna posizioni a entità non viste e all’osservatore, e collega le direzioni fisiche a significati linguistici astratti, suggerendo sia le capacità sia i limiti dell’addestramento linguistico su larga scala. Infine, usiamo S-Space come strumento diagnostico per i fallimenti del ragionamento spaziale. La decodifica delle parole che indicano direzioni rivela un accoppiamento sistematico tra i sistemi di riferimento dei punti cardinali e quelli relativi all’immagine. Ancora più importante, una scomposizione tra percezione e computazione mette in luce un ostacolo fondamentale: gli MLLM sanno formare rappresentazioni spaziali efficaci, ma non riescono a compiere le trasformazioni spaziali necessarie per ragionare in modo affidabile quando cambia il punto di vista.