The Pulse
METR kommt zu dem Ergebnis, dass KI-Modelle bei seinen Programmieraufgaben meist mit versierten Menschen mithalten oder sie übertreffen; die Zeithorizonte verdoppeln sich alle 3,6 Monate
METR stellte fest, dass die getesteten Modelle bei seinen Coding- und Optimierungsaufgaben in der Regel mit erfahrenen Menschen mithalten konnten oder sie übertrafen. Die aktualisierte Evaluation ergab außerdem, dass die Modelle schlechter urteilen und es schwierig ist, menschliche Tester zu finden, die sie übertreffen.

Die von METR getesteten Modelle konnten bei seinen Coding- und Optimierungsaufgaben in der Regel mit erfahrenen Menschen mithalten oder sie übertreffen. Die Evaluation vom 20. November umfasst öffentlich verfügbare Modelle bis hin zu Opus 5.5 und GPT-6 Astra. Sie zeigt außerdem Bereiche auf, in denen KI-Agenten offenbar schlechter urteilen als menschliche Experten.
Auf Grundlage einer kombinierten Aufgabensammlung schätzt METR, dass sich die Zeithorizonte der Modelle ungefähr alle 3,6 Monate verdoppeln. Die Kennzahl erfasst, wie lange die Aufgaben dauern, die Modelle bewältigen können, und schätzt den Schwierigkeitsgrad anhand der Bearbeitungszeit von Menschen.
METR ist sich weiterhin unsicher, wie schnell sich Fähigkeiten verbessern, die für KI-Forschung und -Entwicklung relevant sind, und welche Fähigkeiten für eine drastische Beschleunigung erforderlich wären. Nach Angaben der Organisation reichen die öffentlich verfügbaren Belege nicht aus, um eine solche Beschleunigung in den nächsten paar Jahren auszuschließen. Sie definiert sie als einen so rasanten Fortschritt, dass Menschen katastrophale Risiken durch neue KI-Systeme nicht mehr sinnvoll verstehen, bewerten und auf sie reagieren können.
Menschliche Vergleichswerte finden
Als METR eigene menschliche Tester rekrutierte, gelang es der Organisation nach eigenen Angaben in der Regel nicht, Personen zu finden, die die neuesten Modelle übertrafen. Bei ein paar Aufgaben, für die bereits Aufzeichnungen von mindestens 10 Fachleuten aus dem jeweiligen Bereich vorlagen, die sich daran versucht hatten, lagen die Modelle tendenziell in einem sehr hohen Perzentil, wenn auch nicht ganz an der Spitze.
Als METR seine Arbeit zu Zeithorizonten im März 2025 erstmals veröffentlichte, war Sonnet 3.7 mit rund einer Stunde das beste gemessene Modell. Innerhalb eines Jahres hatten die Modelle die Aufgabensammlung TH1.1 ausgereizt, die Aufgaben mit einer Bearbeitungszeit von bis zu 30 Stunden umfasst.
Für die neue Arbeit rekrutierte die Gruppe erfahrenere menschliche Tester als zuvor, als sie STEM-Absolventen eingesetzt hatte. Nach eigenen Angaben erschwerten jedoch die nötige Fachkenntnis und der Zeitaufwand die Rekrutierung. Menschliche Ausgangswerte flossen direkt nur in 9 % der Schätzungen ein, wie lange ein Mensch für eine Aufgabe brauchen würde; die übrigen Schätzungen stützten sich auf öffentliche Aufzeichnungen, Experten und Extrapolationen. Die Tester durften Sonnet 5 für die Umsetzung verwenden.
Urteilsvermögen und Aufgabendesign
Bei Aufgaben, die Entscheidungen ohne eindeutige empirische Rückmeldung erforderten, schienen KI-Agenten schlechter zu urteilen als menschliche Experten, so METR. Bei einer Aufgabe überschätzten Modellbewerter die Qualität einer Ausgabe, die von einem ähnlich starken oder stärkeren Modell erstellt worden war, wenn man sie mit der Bewertung eines Experten verglich.
MIT Technology Review berichtet, dass bei einer Aufgabe Modelle Evaluationen für METR entwerfen sollten, die anschließend von Beschäftigten bewertet wurden. Keine der von einer KI entworfenen Evaluationen war gut genug, um den Beschäftigten für ihre Forschung nützlich zu erscheinen, berichtet das Medium.
Die Gruppe schätzte, dass die Modelle bei Aufgaben, deren Überführung in Trainingsumgebungen für Reinforcement Learning teurer war, etwas schlechter abschnitten – selbst wenn die geschätzte Bearbeitungszeit von Menschen berücksichtigt wurde. Um die Kosten für die Erstellung, Ausführung und Bewertung von Evaluationen zu beziffern, verwendete sie eine vom Modell geschätzte Kennzahl namens „lifecycle cost“.
Eine Verdopplung der „lifecycle cost“ für eine Aufgabe bestimmter Dauer führte nach METRs Schätzung zu einem Schwierigkeitsaufschlag, der sehr grob einer Halbierung des Zeithorizonts eines Agenten entsprach. Die Gruppe beobachtete in ihren Teilmengen mit höheren und niedrigeren Aufgabenkosten ähnliche Fortschrittsraten, auch bei den kostenintensivsten Aufgaben.
Grenzen des Trends
METR befürchtet, dass leicht durchzuführende Evaluationen die Fähigkeiten in der realen Welt überschätzen könnten, wenn ähnliche Umgebungen im Training verbreitet werden. Die neueren Aufgaben zielen auf bestimmte Stärken und Schwächen ab, die für KI-Forschung und -Entwicklung relevant sind, decken aber ein engeres Spektrum allgemeiner Softwareentwicklungsarbeit ab als TH1.1.
Das kombinierte Ergebnis zu den Zeithorizonten beruht auf TH1.1 und der schwierigeren Aufgabensammlung TH2. METR zufolge haben die Modelle auf der kombinierten Aufgabensammlung einen kürzeren Zeithorizont bei 50 % als bei TH1.1 allein. Eine kürzere Verdopplungszeit bei einer überprüfbaren Teilmenge von TH2 könnte auf eine jüngste Beschleunigung hindeuten, die im kombinierten Trend verborgen ist, auch wenn andere Erklärungen plausibel sind.
Eine separate zusammengesetzte Kennzahl, der METR Capability Index, zeigte bei den getesteten öffentlich verfügbaren Frontier-Modellen weder eine starke Beschleunigung noch eine starke Verlangsamung. METR fand unsichere Hinweise auf Veränderungen bei einigen entwicklerspezifischen Trends, warnte jedoch, dass diese Befunde empfindlich auf methodische Entscheidungen reagierten.
Quellen
- Originalquelle · Blogbeitrag METR metr.org
Weitere gelesene Seiten
- MIT Technology Review technologyreview.com
Verwandte Meldungen
- Studie zeigt: KI-Schutzsysteme können unbelegte Erklärungen liefern
- OpenAI zufolge erledigten KI-Agenten 46 % der delegierten Aufgaben mit einem Arbeitsaufwand von zwei bis vier Stunden
- Anthropic-Mathematiker behauptet, Claude habe beim Beweis der Riemann-Hypothese geholfen
- Sprachmodell verbessert seine eigenen Gewichte in Preprint-Test
- Forschende rekonstruieren mit ToolPulse Arbeitsabläufe von KI-Agenten anhand von Cache-Spuren