RoTA-Bench: valutare il ragionamento spaziale 3D attraverso l’allineamento interattivo delle proiezioni

Abstract degli autori

I modelli visione-linguaggio possono trasformare osservazioni 2D in una comprensione 3D che consenta di agire con precisione? Per farlo occorre dedurre la geometria degli oggetti, anticipare gli effetti della rotazione e perfezionare le azioni in base al feedback visivo. Presentiamo RoTA-Bench per valutare queste capacità attraverso l’allineamento interattivo di proiezioni da 3D a 2D. Data una silhouette da riprodurre, un modello osserva un oggetto ruotato e sceglie rotazioni successive per ottenere la proiezione desiderata con un numero limitato di azioni. La nostra procedura automatizzata costruisce, a partire da icone 2D, oggetti 3D che preservano la silhouette e usa un’inizializzazione reversibile per garantire che i compiti siano risolvibili. Ne risultano 674 compiti e un insieme di test stratificato di 100 compiti. I risultati empirici mostrano che (i) permane un notevole divario tra esseri umani e modello: GPT-5.6-Sol riesce solo nel 17% dei compiti, mentre 20 studenti universitari completano complessivamente l’insieme di test quattro volte, con un tasso di successo del 100%; (ii) i progressi nello spazio delle immagini e in quello delle pose possono divergere: a parità di stato, il modello migliora la sovrapposizione delle silhouette peggiorando l’allineamento delle pose più spesso degli esseri umani (19,4% contro 10,9%); e (iii) il controllo fine dipende dalla cronologia delle interazioni: eliminandola, il 96,8% delle azioni del modello resta su un passo grossolano di 30 gradi e il tasso di successo osservato nei compiti cala nettamente. Questi risultati mettono in luce la difficoltà di tradurre le informazioni visive in un controllo 3D preciso, oltre il riconoscimento o il confronto di singole immagini.