SpatialChain: un benchmark per verificare la fedeltà del ragionamento spaziale nei VLM

Abstract degli autori

I modelli visione-linguaggio (VLM) dotati di capacità di ragionamento riportano un’accuratezza sempre più elevata nei benchmark spaziali, ma i punteggi basati sulla risposta finale non rivelano se una previsione corretta derivi da un ragionamento spaziale fedele o da una scorciatoia linguistica. Presentiamo SpatialChain, un dataset con 28.350 esempi di addestramento e 899 esempi di test che associano domande GQA di natura spaziale a catene di ragionamento ancorate ai grafi di scena. Gli esempi sono conservati solo quando la risposta generata coincide con la verità di riferimento simbolica. Presentiamo inoltre una valutazione su due assi che combina metriche oggettive di sovrapposizione tra catene con un giudice basato su un LLM che tiene conto dei grafi di scena e valuta fedeltà e completezza indipendentemente dalla risposta finale. Applicato a nove VLM dotati di capacità di ragionamento, il protocollo mette in luce tre risultati che l’accuratezza standard non mostra: (i) quattro modelli su nove raggiungono un’accuratezza VQA del $\geq$79%, ma presentano tassi di ricorso a scorciatoie superiori al 39%, ossia risposte corrette il cui ragionamento è giudicato infedele; (ii) la qualità delle catene predice in modo significativo la correttezza delle risposte per sette modelli su nove, ma le due eccezioni (Claude Sonnet 4.6, InternVL3.5-8B) rivelano modalità di errore qualitativamente diverse — risposte laconiche e ragionamenti prolissi ma ornamentali — che la sola accuratezza nel benchmark non distingue; (iii) il fine-tuning supervisionato (SFT) su SpatialChain migliora Qwen3-VL-8B di +6,2 punti percentuali nello stesso dominio e ne riduce il tasso di ricorso a scorciatoie al 22%, mentre un effetto di specializzazione stilistica sui benchmark esterni suggerisce, come misura per attenuarlo, un addestramento integrato con replay. Il giudice della fedeltà è convalidato su 198 elementi annotati da esseri umani, per i quali la concordanza tra giudice e annotatori umani è pari a quella tra annotatori umani, e mediante un secondo giudice di un altro fornitore, che mantiene invariata la graduatoria dei modelli ($ρ$ = 0,88). I dati, gli script di generazione e il codice di valutazione sono disponibili all’indirizzo https://github.com/spatialchain/SpatialChainBenchmark.