The Pulse
Teste do TuringSpace identifica lacunas de ação espacial nos principais modelos de IA
Um novo benchmark avalia modelos de IA em quebra-cabeças espaciais interativos que exigem cliques e arrastos. Segundo os pesquisadores, o modelo mais forte testado resolveu 74,1% das tarefas, ante 94,1% no caso dos humanos.

O modelo de IA mais forte testado em um novo conjunto de quebra-cabeças espaciais interativos resolveu 74,1% das tarefas, ante 94,1% no caso dos humanos, segundo os pesquisadores. O benchmark TuringSpace desafia os modelos a compreender cenas e agir sobre elas por meio de cliques e arrastos, em vez de apenas responder a perguntas.
Em um preprint enviado ao arXiv em 19 de novembro, os pesquisadores descrevem um ambiente web sintético construído em torno de 125 tarefas no estilo CAPTCHA. Os experimentos também constataram que treinar um modelo menor com exemplos gerados pelo ambiente melhorou seu desempenho no teste.
Quebra-cabeças que exigem ação
O TuringSpace-Bench coloca os modelos em um navegador, onde eles leem capturas de tela e usam o mouse e o teclado para resolver quebra-cabeças espaciais. Os pesquisadores descrevem uma tarefa em que um jogador move um sofá por um corredor, contornando uma esquina e ajustando sua posição e rotação quando encontra um bloqueio.
O benchmark contém 25 tarefas em cada uma de cinco categorias de habilidades espaciais, e jogadores humanos validaram as tarefas. Cada tarefa é um programa capaz de gerar novas instâncias a partir de sementes aleatórias e verificar seu estado final.
O artigo contrasta essa abordagem com testes espaciais que usam questões de múltipla escolha ou comandos simbólicos. Seus autores argumentam que uma sequência de ações pode mostrar como um modelo compreende uma cena e responde ao feedback após um movimento.
Onde os modelos tiveram dificuldades
O melhor modelo de pesos abertos na avaliação, Kimi K3, falhou em 68,0% das tarefas, segundo o preprint. O artigo também relata que nenhum agente especializado no uso do computador resolveu mais de 3,5% delas. Os resultados dos modelos são apresentados como a média de pass@1 em três sementes.
Os autores relatam que as falhas dos modelos mais fortes decorreram principalmente de leituras equivocadas da tela, inclusive quando ela mostrava feedback de suas próprias ações. Também constataram que o raciocínio dos modelos de pesos abertos raramente corrigia uma crença equivocada inicial e, em vez disso, às vezes alucinava evidências para defendê-la.
Treinamento com tarefas geradas
Os mesmos programas de tarefas compõem um ambiente de treinamento chamado TuringSpace-Gym. Reexecutar a solução calculada por um programa produz uma trajetória que associa cada ação a seu resultado visual, fornecendo aos pesquisadores exemplos para usar no fine-tuning.
Para testar se os dados de interação poderiam ensinar habilidades espaciais, a equipe fez o fine-tuning do Qwen3.5-9B com 55.000 trajetórias verificadas geradas pelo TuringSpace-Gym. Os autores relatam que sua taxa de sucesso no TuringSpace-Bench subiu de 1,6% para 33,1%, superando o resultado do Kimi K3.
O modelo resultante, chamado TuringSpace-9B, também melhorou em outros benchmarks de CAPTCHA, compreensão espacial e apontamento robótico, segundo os pesquisadores. Ele melhorou nos sete benchmarks fora da distribuição da avaliação, incluindo um ganho de 9,9 pontos no VSI-Bench, que usa vídeos de ambientes internos do mundo real.
Os autores dizem que os resultados sugerem que habilidades espaciais aprendidas por meio de ações na tela podem se transferir para cenas do mundo real. Eles planejam disponibilizar o TuringSpace para estudos futuros.
Fontes
- Fonte original · Preprint TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs arXiv:2611.25387
Notícias relacionadas
- LlamaIndex propõe pontuação baseada na gravidade para análise de documentos
- Aikido encontra segredos acessíveis em 13 de 50 incidentes de segurança envolvendo IA
- Pesquisadores do ToolPulse reconstroem fluxos de trabalho de agentes de IA por meio de rastros de cache
- Vals AI lança rastreador público de comportamentos desalinhados de modelos
- OpenAI afirma que agentes concluíram 46% das tarefas delegadas que exigiam de duas a quatro horas