The Pulse
Un modelo de lenguaje mejora sus propios pesos en una prueba recogida en un preprint
Un modelo de lenguaje 27B editó sus propios pesos sin un proceso de entrenamiento y mejoró en problemas que no había visto, según informan los investigadores. El equipo también probó si el modelo podía reparar una copia dañada.

Un modelo de lenguaje abierto 27B editó sus propios pesos y mejoró en 6,6 puntos porcentuales su precisión en problemas que no había visto, según informan los investigadores en un nuevo preprint. El artículo de Jiajun Fan y sus colegas se presentó en arXiv el 16 de noviembre y se revisó el 18 de noviembre.
Los investigadores llaman a este enfoque autorreescritura. En lugar de usar otro modelo para hacer los cambios o ejecutar un proceso de entrenamiento convencional, dieron al modelo acceso a sus propios pesos, respuestas de práctica evaluadas y herramientas para ejecutar pruebas sobre sí mismo.
Cómo funcionó la edición
El modelo podía realizar una acción por turno: ejecutar código sobre sus pesos, probar una edición o inspeccionar sus estados ocultos. Los autores afirman que el procedimiento no utilizó gradientes, un optimizador ni un modelo más potente; después, la edición presentada se evaluó con problemas que se habían reservado al modelo.
En un experimento, el modelo examinó las diferencias en sus estados ocultos y editó allí donde había medido una diferencia. El equipo probó el modelo editado con 490 problemas reservados, con ocho respuestas para cada problema, mediante una evaluación emparejada fijada de antemano.
En una secuencia de ocho sesiones que utilizó un protocolo para comprobar las ediciones con problemas de práctica reservados antes de presentarlas, la precisión del modelo en uso aumentó o se mantuvo, según el artículo. Las ediciones de las sesiones dos y ocho fueron significativamente mejores que el modelo inicial en los problemas reservados, mientras que el modelo retiró sus ediciones en cinco sesiones.
cada sesión comenzó con los pesos base, en lugar de partir de los pesos presentados en la sesión anterior. Una edición presentada reemplazaba al modelo en uso; si se retiraba, el modelo no cambiaba.
Reparar una copia dañada
En un experimento aparte, los investigadores sobrescribieron con ruido un bloque de los pesos de una copia y dijeron al modelo que algunos valores se habían corrompido. El modelo sin daños editó la copia dañada sin volver a entrenarse, según el artículo.
Los investigadores afirman que el modelo localizó la matriz dañada sin leer los pesos intactos y escribió sus propios valores en lugar de restaurar los originales. La reparación se desarrolló con problemas matemáticos de texto y después se probó con tareas de imagen que el modelo no había visto.
En seis benchmarks de imagen que no había visto, con 100 problemas en cada uno, la copia reparada alcanzó el 83 % de la precisión del modelo base, según informan los autores. En ScreenSpot-v2, informan de que la precisión pasó del 0 % en la copia dañada al 89 % tras la reparación, frente al 93 % del modelo base.
Resultados distintos según el tamaño
El equipo también comparó modelos de una misma familia con 2B, 4B, 9B y 27B parámetros, y les asignó la misma tarea y las mismas herramientas. El modelo 2B no hizo ninguna edición, mientras que los modelos 4B y 9B perjudicaron su propio rendimiento, según el artículo. En esas pruebas, solo el modelo 27B se mejoró a sí mismo y reparó su copia dañada.
El artículo señala una diferencia en los presupuestos de las sesiones: con el presupuesto común a todos los tamaños, el modelo 27B llegó a más pasos del proceso de reescritura de sí mismo, mientras que otras sesiones sobre sus propios pesos indicaron un presupuesto de tokens más corto que dejaba tiempo para más pruebas. Los autores afirman que cada sesión que produjo las mayores mejoras duró unas pocas horas en una sola GPU y que la edición resultante permanece en los pesos, sin añadir cómputo a cada respuesta posterior.
Fuentes
- Fuente original · Preprint Language Models Can Rewrite Their Own Weights arXiv:2611.21885
Noticias relacionadas
- 35Gates ofrece entornos de IA dedicados en la nube desde 64.000 yenes al mes, antes de impuestos
- Un estudio concluye que los filtros de seguridad de la IA pueden ofrecer explicaciones sin respaldo
- Un matemático de Anthropic afirma que Claude ayudó a demostrar la hipótesis de Riemann
- METR descubre que los modelos de IA suelen igualar o superar a humanos expertos en sus tareas de programación, y que sus horizontes temporales se duplican cada 3,6 meses
- Investigadores de ToolPulse reconstruyen flujos de trabajo de agentes de IA mediante trazas de caché