GeoReader: apprendere la geometria latente per il ragionamento spaziale nei modelli visione-linguaggio

Abstract degli autori

I modelli visione-linguaggio (VLM) faticano a cogliere le relazioni metriche e tra più viste che restano implicite nelle osservazioni RGB. I modelli fondazionali per la geometria ricavano questa struttura dalle immagini RGB, ma i metodi esistenti o fondono le caratteristiche stimate con i token visivi e imparano a utilizzarle solo attraverso domande e risposte, oppure allineano le rappresentazioni latenti dei VLM alle caratteristiche geometriche. Catturare la geometria, tuttavia, non garantisce che venga utilizzata: azzerare le rappresentazioni latenti allineate di un modello di allineamento delle caratteristiche reso pubblico ne lascia invariata l’accuratezza. Presentiamo GeoReader, un framework che apprende rappresentazioni geometriche per il VLM che le legge. Per prima cosa, addestriamo Geometric Readers leggeri a produrre token di input continui, usando come supervisione descrizioni geometriche decodificate da un VLM congelato, affinché i Readers esprimano la geometria in una forma che il modello bersaglio sa già leggere. Congeliamo poi i Readers per preservare questa interfaccia mentre sottoponiamo il VLM a fine-tuning su domande e risposte spaziali, iniettando la geometria in funzione della domanda. Le descrizioni geometriche servono solo come obiettivi di addestramento: in fase di inferenza, il VLM risponde direttamente a partire dai token geometrici continui, senza generare una catena di pensiero geometrica. Con la geometria predetta a partire da immagini RGB, il nostro approccio ottiene 94,3 su MindCube-Tiny con Qwen3-VL-4B e, con una miscela di domande e risposte provenienti da più fonti, una media di 72,5 su sei ulteriori benchmark spaziali con Qwen3.5-9B. Questi risultati suggeriscono che una rappresentazione geometrica utile è una rappresentazione che il modello che la riceve sa utilizzare, non semplicemente una da cui è possibile ricostruire la geometria.