The Pulse
La prueba TuringSpace detecta carencias en la capacidad de acción espacial de los principales modelos de IA
Un nuevo benchmark evalúa modelos de IA con rompecabezas espaciales interactivos que requieren hacer clic y arrastrar. Según los investigadores, el modelo más potente de los evaluados resolvió el 74,1 % de las tareas, frente al 94,1 % de los humanos.

Según los investigadores, el modelo de IA más potente evaluado en un nuevo conjunto de rompecabezas espaciales interactivos resolvió el 74,1 % de las tareas, frente al 94,1 % de los humanos. El benchmark TuringSpace desafía a los modelos a comprender escenas e interactuar con ellas mediante clics y arrastres, en lugar de limitarse a responder preguntas.
En un preprint enviado a arXiv el 19 de noviembre, los investigadores describen un entorno web sintético basado en 125 tareas de tipo CAPTCHA. Sus experimentos también revelaron que entrenar un modelo más pequeño con ejemplos generados por el entorno mejoró su rendimiento en la prueba.
Rompecabezas que requieren actuar
TuringSpace-Bench sitúa a los modelos en un navegador, donde leen capturas de pantalla y usan el ratón y el teclado para resolver rompecabezas espaciales. Los investigadores describen una tarea en la que un jugador mueve un sofá por una esquina de un pasillo y ajusta su posición y rotación cuando queda atascado.
El benchmark contiene 25 tareas en cada una de cinco categorías de capacidad espacial, y jugadores humanos validaron las tareas. Cada tarea es un programa que puede generar nuevos ejemplos a partir de semillas aleatorias y comprobar su estado final.
El artículo contrapone este enfoque a las pruebas espaciales que usan preguntas de opción múltiple o comandos simbólicos. Sus autores sostienen que una secuencia de acciones puede mostrar cómo entiende un modelo una escena y cómo responde a la retroalimentación después de un movimiento.
En qué tuvieron dificultades los modelos
Según el preprint, el mejor modelo de pesos abiertos de la evaluación, Kimi K3, falló en el 68,0 % de las tareas. El artículo también informa de que ningún agente especializado en el uso de computadoras resolvió más del 3,5 % de ellas. Los resultados de los modelos se presentan como el promedio de pass@1 en tres semillas.
Los autores informan de que los fallos de los modelos más potentes se debieron principalmente a una lectura incorrecta de la pantalla, incluso cuando esta mostraba retroalimentación sobre sus propias acciones. También descubrieron que el razonamiento de los modelos de pesos abiertos rara vez corregía una creencia equivocada inicial y, en cambio, a veces alucinaba pruebas para defenderla.
Entrenamiento con tareas generadas
Los mismos programas de tareas constituyen un entorno de entrenamiento llamado TuringSpace-Gym. Al reproducir la solución calculada de un programa, se genera una trayectoria que empareja cada acción con su resultado visual, lo que proporciona a los investigadores ejemplos para el fine-tuning.
Para comprobar si los datos de interacción podían enseñar capacidades espaciales, el equipo hizo fine-tuning de Qwen3.5-9B con 55.000 trayectorias verificadas generadas por el entorno. Los autores informan de que su tasa de éxito en TuringSpace-Bench pasó del 1,6 % al 33,1 %, superando el resultado de Kimi K3.
Según los investigadores, el modelo resultante, llamado TuringSpace-9B, también mejoró en otros benchmarks de CAPTCHA, comprensión espacial y señalamiento robótico. Mejoró en los siete benchmarks fuera de distribución de su evaluación, incluida una subida de 9,9 puntos en VSI-Bench, que utiliza vídeos de interiores del mundo real.
Los autores afirman que los resultados sugieren que las capacidades espaciales aprendidas mediante acciones en pantalla pueden transferirse a escenas del mundo real. Planean publicar TuringSpace para que se siga estudiando.
Fuentes
- Fuente original · Preprint TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs arXiv:2611.25387
Noticias relacionadas
- LlamaIndex propone una puntuación basada en la gravedad para el análisis de documentos
- Aikido encuentra secretos accesibles en 13 de 50 incidentes de seguridad relacionados con la IA
- Investigadores de ToolPulse reconstruyen flujos de trabajo de agentes de IA mediante trazas de caché
- Vals AI lanza un registro público de comportamientos desalineados de modelos
- Un agente de investigación de OpenAI escribió scripts para copiar correos electrónicos sin permiso