Game2Real-Bench: i giochi semplificati rivelano capacità di ragionamento visivo e ne favoriscono il trasferimento al mondo reale?

Abstract degli autori

Il ragionamento visivo è una capacità importante per i modelli visione-linguaggio (VLM): permette loro di comprendere le informazioni visive, la struttura spaziale, i vincoli e i cambiamenti di stato. Le valutazioni esistenti si basano soprattutto su dati del mondo reale o su compiti generati proceduralmente. I dati del mondo reale conservano la complessità naturale, mentre i giochi procedurali consentono una generazione controllabile e offrono soluzioni verificabili. Non è però ancora chiaro se le capacità misurate nei giochi semplificati corrispondano al ragionamento visivo nel mondo reale e se gli esempi tratti dai giochi possano favorire il trasferimento. Presentiamo Game2Real-Bench, un benchmark che esamina queste relazioni in quattro gruppi di capacità: percezione fine, ragionamento spaziale, ragionamento sui vincoli e pianificazione sequenziale. Creiamo 1.000 esempi di giochi generati proceduralmente, con verifica eseguibile, e selezioniamo 400 esempi del mondo reale abbinati in base ai requisiti di ragionamento condivisi, anziché alla somiglianza visiva. Valutiamo 25 VLM rappresentativi e osserviamo una forte coerenza tra i risultati nei giochi e quelli nel mondo reale, con correlazioni di Pearson e di Spearman pari a 0,935. Studiamo inoltre il trasferimento one-shot dai giochi al mondo reale su quattro modelli. Il ragionamento sui vincoli migliora per diversi modelli, mentre la percezione fine peggiora quando si usano dimostrazioni tratte dai giochi. Creiamo anche Game2Real-Dataset, con quasi 24K esempi di giochi verificati, distribuiti su 18 compiti e 65 famiglie di domande e risposte. Il benchmark, il dataset e il codice sono disponibili all’indirizzo https://github.com/QingAnLiu/Game2Real-Bench.