Ir para o conteúdo
AI.info

The Pulse

METR constata que modelos de IA geralmente igualam ou superam humanos qualificados em tarefas de programação, com horizontes de tempo dobrando a cada 3,6 meses

A METR constatou que os modelos testados geralmente igualaram ou superaram profissionais qualificados em suas tarefas de programação e otimização. Sua avaliação atualizada também identificou um julgamento mais fraco dos modelos e dificuldade para encontrar testadores humanos que os superassem.

METR constata que modelos de IA geralmente igualam ou superam humanos qualificados em tarefas de programação, com horizontes de tempo dobrando a cada 3,6 meses

Os modelos testados pela METR geralmente igualaram ou superaram profissionais qualificados em suas tarefas de programação e otimização. A avaliação de 20 de novembro abrange modelos públicos até o Opus 5.5 e o GPT-6 Astra e também identifica áreas em que os agentes de IA parecem demonstrar um julgamento pior que o de especialistas humanos.

Em um conjunto combinado de tarefas, a METR estima que os horizontes temporais dos modelos dobram aproximadamente a cada 3,6 meses. A medida acompanha a duração das tarefas que os modelos conseguem concluir e usa o tempo que humanos levam para avaliar a dificuldade delas.

A METR ainda não sabe ao certo a que velocidade estão melhorando as capacidades relevantes para a pesquisa e o desenvolvimento de IA nem quais capacidades seriam necessárias para uma aceleração drástica. Segundo a organização, as evidências públicas são insuficientes para descartar essa aceleração nos próximos dois anos, que ela define como um avanço tão rápido que os humanos já não conseguem compreender, avaliar e responder de maneira significativa aos riscos catastróficos de novos sistemas de IA.

Encontrar comparações humanas

Quando recrutou seus próprios testadores humanos, a METR diz que geralmente não conseguiu encontrar pessoas que superassem os modelos mais recentes. Em duas tarefas com registros existentes de pelo menos 10 especialistas da área tentando realizá-las, os modelos tenderam a ficar em um percentil muito alto, embora não no topo absoluto.

Quando a METR divulgou pela primeira vez seu trabalho sobre horizontes temporais, em março de 2025, o melhor modelo medido era o Sonnet 3.7, com cerca de uma hora. Em menos de um ano, os modelos atingiram o limite do conjunto de tarefas TH1.1, que inclui tarefas que levam até 30 horas.

Para o novo trabalho, o grupo recrutou testadores humanos mais experientes que os formados em STEM usados anteriormente, mas diz que a experiência e o tempo necessários dificultaram o recrutamento. Os resultados de referência humana foram usados diretamente em apenas 9% das estimativas de quanto tempo uma pessoa levaria para concluir uma tarefa; as demais estimativas se basearam em registros públicos, especialistas e extrapolações. Os testadores puderam usar o Sonnet 5 para a implementação.

Julgamento e concepção das tarefas

Em tarefas que exigiam escolhas sem retorno empírico claro, os agentes de IA pareceram demonstrar um julgamento pior que o de especialistas humanos, afirma a METR. Em uma tarefa, avaliadores baseados em modelos superestimaram a qualidade de um resultado produzido por um modelo de capacidade semelhante ou superior, em comparação com a avaliação de um especialista.

A MIT Technology Review informa que uma das tarefas pedia aos modelos que criassem avaliações de IA para a METR, e que funcionários humanos pontuaram os resultados. Nenhuma das avaliações criadas por IA foi boa o bastante para que os funcionários a considerassem útil para suas pesquisas, informa a publicação.

O grupo estimou que os modelos tiveram um desempenho um pouco pior em tarefas mais caras de transformar em ambientes de treinamento de aprendizado por reforço, mesmo após levar em conta o tempo estimado para a conclusão por humanos. Para quantificar o custo de criar, executar e pontuar avaliações, a METR usou uma medida estimada por um modelo, chamada custo do ciclo de vida.

A METR estima que dobrar o custo do ciclo de vida de uma tarefa de determinada duração impunha uma penalidade de dificuldade muito aproximadamente equivalente a reduzir pela metade o horizonte temporal de um agente. O grupo observou taxas de avanço semelhantes nos subconjuntos de tarefas de custo mais alto e mais baixo, incluindo melhorias nas tarefas de maior custo.

Limites da tendência

A METR teme que avaliações fáceis de executar possam superestimar as capacidades no mundo real à medida que ambientes semelhantes se tornam comuns no treinamento. As tarefas mais recentes da organização visam capacidades e limitações específicas relevantes para a pesquisa e o desenvolvimento de IA, mas abrangem uma gama mais restrita de trabalhos gerais de engenharia de software que o TH1.1.

O resultado combinado de horizonte temporal usa o TH1.1 e o conjunto de tarefas mais difíceis TH2. A METR afirma que os modelos têm um horizonte temporal menor para uma taxa de sucesso de 50% no conjunto combinado do que apenas no TH1.1; uma tendência de duplicação mais curta em um subconjunto verificável do TH2 poderia indicar uma aceleração recente ocultada pela tendência combinada, embora outras explicações sejam plausíveis.

Uma medida composta separada, o METR Capability Index, não mostrou forte aceleração nem desaceleração entre os modelos públicos de fronteira testados. A METR encontrou evidências incertas de mudanças em algumas tendências específicas de desenvolvedores, mas alertou que essas conclusões eram sensíveis a escolhas metodológicas.

Fontes

  1. Fonte original · Post de blog METR metr.org

Outras páginas lidas

  1. MIT Technology Review technologyreview.com

Notícias relacionadas

Explore

Mais artigos