Ir al contenido
AI.info

The Pulse

METR descubre que los modelos de IA suelen igualar o superar a humanos expertos en sus tareas de programación, y que sus horizontes temporales se duplican cada 3,6 meses

METR descubrió que los modelos evaluados solían igualar o superar a humanos expertos en sus tareas de programación y optimización. Su evaluación actualizada también reveló un juicio más débil por parte de los modelos y dificultades para encontrar evaluadores humanos que los superaran.

METR descubre que los modelos de IA suelen igualar o superar a humanos expertos en sus tareas de programación, y que sus horizontes temporales se duplican cada 3,6 meses

Los modelos evaluados por METR solían igualar o superar a humanos expertos en sus tareas de programación y optimización. La evaluación del 20 de noviembre abarca modelos públicos hasta Opus 5.5 y GPT-6 Astra, y también detecta ámbitos en los que los agentes de IA parecen tener peor criterio que los expertos humanos.

En un conjunto combinado de tareas, METR estima que los horizontes temporales de los modelos se duplican aproximadamente cada 3,6 meses. Esta medida registra la duración de las tareas que los modelos pueden completar y utiliza el tiempo que tardan los humanos en completarlas para evaluar su dificultad.

METR sigue sin tener certeza sobre la rapidez con que mejoran las capacidades pertinentes para la investigación y el desarrollo de la IA, así como sobre las capacidades que serían necesarias para una aceleración drástica. La organización afirma que las pruebas públicas son insuficientes para descartar esa aceleración en los próximos dos años, y la define como un progreso tan rápido que los humanos ya no puedan comprender, evaluar y responder de manera significativa a los riesgos catastróficos de los nuevos sistemas de IA.

Encontrar comparaciones humanas

METR afirma que, cuando contrató a sus propios evaluadores humanos, normalmente no logró encontrar personas que superaran a los modelos más recientes. En un par de tareas con registros existentes de al menos 10 especialistas del ámbito que las habían intentado, los modelos tendieron a situarse en un percentil muy alto, aunque no en el más alto.

Cuando METR publicó por primera vez su trabajo sobre horizontes temporales en marzo de 2025, el mejor modelo medido era Sonnet 3.7, con alrededor de una hora. En menos de un año, los modelos habían saturado el conjunto de tareas TH1.1, que incluye tareas de hasta 30 horas.

Para el nuevo trabajo, el grupo contrató a evaluadores humanos con más experiencia que los graduados en disciplinas STEM utilizados anteriormente, pero afirma que los conocimientos especializados y el tiempo requeridos dificultaron la contratación. Los resultados de referencia humanos se utilizaron directamente en solo el 9 % de sus estimaciones del tiempo que tardaría una persona en completar una tarea; las demás estimaciones se basaron en registros públicos, expertos y extrapolaciones. Se permitió a los evaluadores utilizar Sonnet 5 para la implementación.

Criterio y diseño de tareas

Según METR, en tareas que requieren tomar decisiones sin una respuesta empírica clara, los agentes de IA parecían tener peor criterio que los expertos humanos. En una tarea, los modelos jueces sobrestimaron la calidad de un resultado creado por otro modelo de capacidad similar o superior, en comparación con la evaluación de un experto.

MIT Technology Review informa de que una tarea pidió a los modelos diseñar evaluaciones de IA para METR, y que empleados humanos puntuaron los resultados. Ninguna de las evaluaciones diseñadas por IA fue lo bastante buena como para que los empleados la consideraran útil para su investigación, informa el medio.

El grupo estimó que los modelos rindieron algo peor en tareas más costosas de convertir en entornos de entrenamiento de aprendizaje por refuerzo, incluso después de tener en cuenta el tiempo estimado que tardaría una persona en completarlas. Utilizó una medida estimada por un modelo, denominada «coste del ciclo de vida», para cuantificar el gasto de crear, ejecutar y puntuar las evaluaciones.

METR estima que duplicar el coste del ciclo de vida de una tarea de cierta duración suponía una penalización por dificultad muy aproximadamente equivalente a reducir a la mitad el horizonte temporal de un agente. El grupo observó tasas de progreso similares en sus subconjuntos de tareas de coste más alto y más bajo, incluida una mejora en sus tareas más costosas.

Límites de la tendencia

A METR le preocupa que las evaluaciones fáciles de ejecutar puedan sobrestimar las capacidades en el mundo real a medida que los entornos similares se vuelvan habituales en el entrenamiento. Sus tareas más recientes se centran en fortalezas y debilidades concretas pertinentes para la investigación y el desarrollo de la IA, pero abarcan un rango más reducido de tareas generales de ingeniería de software que TH1.1.

El resultado combinado de horizontes temporales utiliza TH1.1 y el conjunto de tareas más difíciles TH2. METR afirma que los modelos presentan un valor menor en la métrica de horizonte temporal al 50 % en el conjunto combinado que en TH1.1 por sí solo; una tendencia de duplicación más corta en un subconjunto verificable de TH2 podría indicar una aceleración reciente que queda oculta en la tendencia combinada, aunque son plausibles otras explicaciones.

Una medida compuesta independiente, el METR Capability Index, no mostró una aceleración ni una desaceleración pronunciadas en los modelos públicos de vanguardia evaluados. METR encontró indicios inciertos de cambios en algunas tendencias específicas de los desarrolladores, pero advirtió que esos hallazgos dependían de las decisiones metodológicas.

Fuentes

  1. Fuente original · Entrada de blog METR metr.org

Otras páginas leídas

  1. MIT Technology Review technologyreview.com

Noticias relacionadas

Explora

Más artículos