The Pulse
Il test TuringSpace individua lacune nell’azione spaziale dei principali modelli di IA
Un nuovo benchmark mette alla prova i modelli di IA con puzzle spaziali interattivi che richiedono clic e trascinamenti. Secondo i ricercatori, il modello più forte tra quelli testati ha risolto il 74,1% dei compiti, contro il 94,1% degli esseri umani.

Il modello di IA più forte tra quelli testati su una nuova serie di puzzle spaziali interattivi ha risolto il 74,1% dei compiti, contro il 94,1% degli esseri umani, riferiscono i ricercatori. Il benchmark TuringSpace mette alla prova la capacità dei modelli di comprendere le scene e agire al loro interno tramite clic e trascinamenti, anziché limitarsi a rispondere a domande.
In un preprint sottoposto ad arXiv il 19 novembre, i ricercatori descrivono un ambiente web sintetico basato su 125 compiti in stile CAPTCHA. I loro esperimenti hanno anche rilevato che addestrare un modello più piccolo su esempi generati dall’ambiente ne migliorava le prestazioni nel test.
Puzzle che richiedono di agire
TuringSpace-Bench colloca i modelli in un browser, dove leggono screenshot e usano mouse e tastiera per risolvere puzzle spaziali. I ricercatori descrivono un compito in cui un giocatore sposta un divano attorno all’angolo di un corridoio, modificandone la posizione e la rotazione quando rimane bloccato.
Il benchmark comprende 25 compiti per ciascuna di cinque categorie di abilità spaziali, e i compiti sono stati convalidati da giocatori umani. Ogni compito è un programma in grado di generare nuove istanze a partire da seed casuali e di verificarne lo stato finale.
Il paper contrappone questo approccio ai test spaziali basati su domande a scelta multipla o comandi simbolici. I suoi autori sostengono che una sequenza di azioni possa mostrare come un modello comprende una scena e reagisce al feedback dopo una mossa.
Dove i modelli hanno incontrato difficoltà
Secondo il preprint, il miglior modello open-weight della valutazione, Kimi K3, non è riuscito a completare il 68,0% dei compiti. Il paper riferisce inoltre che nessun agente specializzato nell’uso del computer ne ha risolto più del 3,5%. I risultati dei modelli sono riportati come media di pass@1 su tre seed.
Gli autori riferiscono che gli errori dei modelli più forti derivavano perlopiù da una lettura errata dello schermo, anche quando questo mostrava il feedback sulle loro stesse azioni. Hanno inoltre rilevato che il ragionamento dei modelli open-weight raramente correggeva una convinzione errata iniziale e talvolta allucinava invece prove a sua difesa.
Addestramento su compiti generati
Gli stessi programmi dei compiti costituiscono un ambiente di addestramento chiamato TuringSpace-Gym. Riprodurre la soluzione calcolata da un programma produce una traiettoria che abbina ogni azione al suo esito visivo, fornendo ai ricercatori esempi da usare per il fine-tuning.
Per verificare se i dati di interazione potessero insegnare abilità spaziali, il team ha sottoposto Qwen3.5-9B a fine-tuning usando 55.000 traiettorie verificate generate dal gym. Gli autori riferiscono che il suo tasso di successo su TuringSpace-Bench è salito dall’1,6% al 33,1%, superando il risultato di Kimi K3.
Secondo i ricercatori, il modello risultante, chiamato TuringSpace-9B, ha migliorato i risultati anche su altri benchmark CAPTCHA, di comprensione spaziale e di puntamento robotico. Nella loro valutazione ha migliorato i risultati su tutti e sette i benchmark out-of-distribution, compreso un aumento di 9,9 punti su VSI-Bench, che utilizza video di interni del mondo reale.
Gli autori affermano che i risultati suggeriscono che le abilità spaziali apprese tramite azioni sullo schermo possano trasferirsi alle scene del mondo reale. Hanno in programma di rendere disponibile TuringSpace per ulteriori studi.
Fonti
- Fonte originale · Preprint TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs arXiv:2611.25387
Notizie correlate
- LlamaIndex propone una valutazione basata sulla gravità per l’analisi dei documenti
- Aikido individua segreti accessibili in 13 dei 50 incidenti di sicurezza legati all’IA
- I ricercatori di ToolPulse ricostruiscono i flussi di lavoro degli agenti IA tramite tracce della cache
- Vals AI avvia un registro pubblico dei comportamenti disallineati dei modelli
- OpenAI afferma che gli agenti hanno completato il 46% delle attività delegate che richiedevano da due a quattro ore