Zum Inhalt springen
AI.info

The Pulse

TuringSpace-Test findet Lücken beim räumlichen Handeln führender KI-Modelle

Ein neuer Benchmark testet KI-Modelle mit interaktiven räumlichen Rätseln, die Klicks und Ziehbewegungen erfordern. Forschende berichten, dass das stärkste getestete Modell 74,1 % der Aufgaben löste, Menschen dagegen 94,1 %.

TuringSpace-Test findet Lücken beim räumlichen Handeln führender KI-Modelle

Das stärkste KI-Modell, das mit einer neuen Reihe interaktiver räumlicher Rätsel getestet wurde, löste 74,1 % der Aufgaben, Menschen dagegen 94,1 %, berichten Forschende. Der TuringSpace-Benchmark fordert Modelle dazu heraus, Szenen zu verstehen und durch Klicken und Ziehen mit ihnen zu interagieren, statt lediglich Fragen zu beantworten.

In einem am 19. November bei arXiv eingereichten Preprint beschreiben die Forschenden eine synthetische Web-Umgebung mit 125 CAPTCHA-artigen Aufgaben. Ihre Experimente ergaben außerdem, dass das Training eines kleineren Modells mit von der Umgebung generierten Beispielen seine Leistung im Test verbesserte.

Rätsel, die Handlungen erfordern

TuringSpace-Bench versetzt Modelle in einen Browser, wo sie Screenshots lesen und mit Maus und Tastatur räumliche Rätsel lösen. Die Forschenden beschreiben eine Aufgabe, bei der ein Spieler ein Sofa um eine Korridorecke bewegt und dessen Position und Drehung anpasst, wenn es stecken bleibt.

Der Benchmark umfasst jeweils 25 Aufgaben in fünf Kategorien räumlicher Fähigkeiten; menschliche Spielerinnen und Spieler überprüften die Aufgaben. Jede Aufgabe ist ein Programm, das aus zufälligen Seeds neue Instanzen erzeugen und deren Endzustand überprüfen kann.

Die Arbeit stellt diesen Ansatz räumlichen Tests gegenüber, bei denen Multiple-Choice-Fragen oder symbolische Befehle zum Einsatz kommen. Die Autoren argumentieren, dass eine Abfolge von Handlungen zeigen kann, wie ein Modell eine Szene versteht und nach einer Bewegung auf Rückmeldungen reagiert.

Woran Modelle scheiterten

Das beste Open-Weight-Modell in der Auswertung, Kimi K3, scheiterte laut Preprint bei 68,0 % der Aufgaben. Die Arbeit berichtet außerdem, dass kein spezialisierter Computer-Use-Agent mehr als 3,5 % davon löste. Die Ergebnisse der Modelle werden als durchschnittlicher pass@1-Wert über drei Seeds angegeben.

Die Autoren berichten, dass die Fehler der stärksten Modelle meist darauf zurückzuführen waren, dass sie den Bildschirm falsch lasen – auch dann, wenn dieser Rückmeldungen zu ihren eigenen Handlungen zeigte. Außerdem stellten sie fest, dass das Schlussfolgern von Open-Weight-Modellen eine anfängliche falsche Annahme nur selten korrigierte und stattdessen manchmal Belege halluzinierte, um sie zu verteidigen.

Training mit generierten Aufgaben

Dieselben Aufgabenprogramme bilden eine Trainingsumgebung namens TuringSpace-Gym. Wenn die berechnete Lösung eines Programms erneut ausgeführt wird, entsteht eine Trajektorie, die jede Handlung mit ihrem visuellen Ergebnis verknüpft. So erhalten die Forschenden Beispiele für das Fine-Tuning.

Um zu testen, ob die Interaktionsdaten räumliche Fähigkeiten vermitteln können, trainierte das Team Qwen3.5-9B mit 55.000 verifizierten Trajektorien, die vom Gym generiert wurden, weiter. Die Autoren berichten, dass die Erfolgsquote bei TuringSpace-Bench dadurch von 1,6 % auf 33,1 % stieg und damit über dem Ergebnis von Kimi K3 lag.

Das resultierende Modell namens TuringSpace-9B verbesserte sich den Forschenden zufolge auch bei anderen Benchmarks für CAPTCHA-Aufgaben, räumliches Verständnis und robotisches Zeigen. Bei allen sieben Out-of-Distribution-Benchmarks ihrer Auswertung schnitt es besser ab, darunter mit einem Zuwachs von 9,9 Punkten bei VSI-Bench, der reale Innenraumvideos verwendet.

Die Autoren sagen, die Ergebnisse deuteten darauf hin, dass räumliche Fähigkeiten, die durch Handlungen auf dem Bildschirm erlernt wurden, auf Szenen der realen Welt übertragbar seien. Sie planen, TuringSpace für weitere Untersuchungen zu veröffentlichen.

Quellen

  1. Originalquelle · Preprint TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs arXiv:2611.25387

Verwandte Meldungen

Entdecken

Weitere Artikel