Dove falliscono i modelli visione-linguaggio nel ragionamento 3D?

Abstract degli autori

I modelli visione-linguaggio possono formulare correttamente singoli giudizi, ma faticano a ricostruire e usare in modo coerente le proprietà esatte di un oggetto 3D. Per caratterizzare questa lacuna, introduciamo BedBench, un benchmark controllato composto da tredici compiti generati proceduralmente, che spaziano dai singoli giudizi alle risposte composite. Nei test su dodici modelli open weight e quattro modelli di frontiera, il conteggio per colore mette in luce una debolezza marcata: gli esseri umani raggiungono un’accuratezza del 93,3%, contro il 7,2% del modello migliore. Il fine-tuning mirato porta l’accuratezza di un modello dal 3,0% al 68,6%, ma rivela un’ulteriore difficoltà: le risposte sui colori più comuni restano incoerenti con i conteggi per colore forniti dallo stesso modello. Fornire quei conteggi sotto forma di testo migliora i suoi giudizi, dimostrando che ricostruire una proprietà non significa usarla in modo coerente. Il ragionamento, l’aumento della scala e l’aggiunta di indizi visivi migliorano ciascuno i singoli giudizi, ma nessuno rende affidabili le risposte esatte. Per individuare l’origine della difficoltà, analizziamo Qwen3.5-27B: i conteggi esatti per colore restano ricostruibili all’input del modello linguistico, ma le risposte del modello raramente li restituiscono (65,0% con il probe contro il 3,0% del modello). Ulteriori controlli con rimozione dell’immagine mostrano che alcuni successi apparenti non richiedono alcuna evidenza visiva. Questi risultati suggeriscono di valutare il ragionamento 3D in base alla correttezza esatta, all’uso coerente e alla dipendenza dall’immagine, anziché alla sola accuratezza. Il codice e il dataset sono disponibili pubblicamente: https://github.com/leduckhai/BedBench