The Pulse
Modelo de linguagem aprimora os próprios pesos em teste de preprint
Um modelo de linguagem de 27B editou os próprios pesos sem uma rodada de treinamento e melhorou em problemas inéditos, relatam pesquisadores. A equipe também testou se o modelo poderia reparar uma cópia danificada.

Um modelo de linguagem aberto de 27B editou os próprios pesos e ficou 6,6 pontos percentuais mais preciso em problemas que não havia visto, relatam pesquisadores em um novo preprint. O artigo de Jiajun Fan e colegas foi submetido ao arXiv em 16 de novembro e revisado em 18 de novembro.
Os pesquisadores chamam a abordagem de reescrita autônoma. Em vez de usar outro modelo para fazer as alterações ou executar um processo convencional de treinamento, eles deram ao modelo acesso aos próprios pesos, respostas de exercícios avaliadas e ferramentas para executar testes em si mesmo.
Como a edição funcionou
O modelo podia realizar uma ação por turno: executar código sobre seus pesos, testar uma edição ou inspecionar seus estados ocultos. Os autores dizem que o procedimento não usou gradientes, otimizador ou um modelo mais poderoso; em seguida, a edição enviada foi avaliada em problemas que não haviam sido apresentados ao modelo.
Em um experimento, o modelo examinou diferenças em seus estados ocultos e editou os pontos em que havia medido uma diferença. A equipe testou o modelo editado em 490 problemas reservados, com oito respostas para cada problema, usando uma avaliação pareada definida de antemão.
Em uma sequência de oito sessões que usaram um protocolo de verificação das edições em problemas de exercício reservados antes do envio, a precisão do modelo em uso aumentou ou se manteve, segundo o artigo. As edições das sessões dois e oito tiveram desempenho significativamente melhor que o modelo inicial nos problemas reservados, enquanto o modelo retirou suas edições em cinco sessões.
Cada sessão começou com os pesos-base, em vez de partir dos pesos enviados pela sessão anterior. Uma edição enviada substituía o modelo em uso; uma edição retirada o deixava inalterado.
Reparando uma cópia danificada
Em um experimento separado, os pesquisadores sobrescreveram um bloco dos pesos de uma cópia com ruído e disseram ao modelo que alguns valores haviam sido corrompidos. O modelo não danificado editou a cópia danificada sem retreinamento, segundo o artigo.
Os pesquisadores dizem que o modelo localizou a matriz corrompida sem ler os pesos não danificados e escreveu seus próprios valores, em vez de restaurar os originais. O reparo foi desenvolvido com problemas matemáticos em texto e, em seguida, testado em tarefas com imagens que o modelo não havia visto.
Em seis benchmarks de imagem inéditos, com 100 problemas em cada um, a cópia reparada atingiu 83% da precisão do modelo-base, relatam os autores. No ScreenSpot-v2, eles relatam que a precisão passou de 0% na cópia danificada para 89% após o reparo, em comparação com 93% no modelo-base.
Resultados diferentes por tamanho
A equipe também comparou modelos de uma mesma família com 2B, 4B, 9B e 27B parâmetros, dando a eles a mesma tarefa e as mesmas ferramentas. O modelo de 2B não fez nenhuma edição, enquanto os modelos de 4B e 9B prejudicaram o próprio desempenho, segundo o artigo. Apenas o modelo de 27B se aprimorou e reparou sua cópia danificada nesses testes.
O artigo observa uma diferença nos orçamentos das sessões: com o orçamento compartilhado por todos os tamanhos, o modelo de 27B avançou por mais etapas envolvidas em sua própria reescrita, enquanto outras sessões sobre seus próprios pesos indicaram um orçamento de tokens mais curto, que deixava tempo para mais testes. Os autores dizem que cada sessão por trás dos maiores ganhos durou algumas horas em uma única GPU e que a edição resultante permanece nos pesos sem acrescentar computação a cada resposta subsequente.
Fontes
- Fonte original · Preprint Language Models Can Rewrite Their Own Weights arXiv:2611.21885
Notícias relacionadas
- 35Gates oferece ambientes dedicados de IA na nuvem por ¥ 64.000 ao mês, antes dos impostos
- Estudo constata que filtros de segurança de IA podem dar explicações sem respaldo
- Matemático da Anthropic afirma que Claude ajudou a provar a hipótese de Riemann
- METR constata que modelos de IA geralmente igualam ou superam humanos qualificados em tarefas de programação, com horizontes de tempo dobrando a cada 3,6 meses
- Pesquisadores do ToolPulse reconstroem fluxos de trabalho de agentes de IA por meio de rastros de cache