Zum Inhalt springen
AI.info

The Pulse

Sprachmodell verbessert seine eigenen Gewichte in Preprint-Test

Ein Sprachmodell mit 27B Parametern bearbeitete seine eigenen Gewichte ohne Trainingslauf und verbesserte sich bei unbekannten Aufgaben, berichten Forschende. Das Team testete auch, ob das Modell eine beschädigte Kopie reparieren konnte.

Sprachmodell verbessert seine eigenen Gewichte in Preprint-Test

Ein offenes Sprachmodell mit 27B Parametern bearbeitete seine eigenen Gewichte und steigerte seine Genauigkeit bei Aufgaben, die es noch nicht gesehen hatte, um 6,6 Prozentpunkte, berichten Forschende in einem neuen Preprint. Die Arbeit von Jiajun Fan und Kollegen wurde am 16. November bei arXiv eingereicht und am 18. November überarbeitet.

Die Forschenden nennen den Ansatz Selbstumschreiben. Statt ein anderes Modell die Änderungen vornehmen oder einen herkömmlichen Trainingsprozess durchlaufen zu lassen, gaben sie dem Modell Zugriff auf seine eigenen Gewichte, bewertete Übungsantworten und Werkzeuge, um Tests an sich selbst durchzuführen.

Wie die Änderung funktionierte

Das Modell konnte pro Zug eine Aktion ausführen: Code auf seinen Gewichten ausführen, eine Änderung testen oder seine verborgenen Zustände untersuchen. Die Autoren schreiben, dass das Verfahren weder Gradienten noch einen Optimierer oder ein leistungsstärkeres Modell verwendete; anschließend wurde die eingereichte Änderung anhand von Aufgaben bewertet, die dem Modell vorenthalten worden waren.

In einem Experiment untersuchte das Modell Unterschiede in seinen verborgenen Zuständen und nahm Änderungen an den Stellen vor, an denen es einen Unterschied gemessen hatte. Das Team testete das bearbeitete Modell anhand von 490 zurückgehaltenen Aufgaben mit jeweils acht Antworten und verwendete dafür eine vorab festgelegte gepaarte Evaluation.

In einer Folge von acht Sitzungen, bei denen Änderungen vor der Einreichung anhand reservierter Übungsaufgaben geprüft wurden, stieg die Genauigkeit des eingesetzten Modells laut der Arbeit an oder blieb gleich. Die Änderungen aus der zweiten und der achten Sitzung waren bei den zurückgehaltenen Aufgaben signifikant besser als das Ausgangsmodell; in fünf Sitzungen zog das Modell seine Änderungen zurück.

Jede Sitzung begann mit den Basisgewichten, statt mit den Gewichten, die in der vorangegangenen Sitzung eingereicht worden waren. Eine eingereichte Änderung ersetzte das eingesetzte Modell; wurde eine Änderung zurückgezogen, blieb es unverändert.

Eine beschädigte Kopie reparieren

In einem separaten Experiment überschrieben die Forschenden einen Gewichtsblock einer Kopie mit Rauschen und teilten dem Modell mit, dass einige Werte beschädigt worden seien. Das unbeschädigte Modell bearbeitete die beschädigte Kopie ohne erneutes Training, heißt es in der Arbeit.

Die Forschenden schreiben, das Modell habe die beschädigte Matrix lokalisiert, ohne die unbeschädigten Gewichte auszulesen, und eigene Werte eingetragen, statt die Originalwerte wiederherzustellen. Die Reparatur wurde anhand mathematischer Textaufgaben entwickelt und anschließend mit Bildaufgaben getestet, die das Modell noch nicht gesehen hatte.

Bei sechs unbekannten Bild-Benchmarks mit jeweils 100 Aufgaben erreichte die reparierte Kopie laut den Autoren 83 % der Genauigkeit des Basismodells. Für ScreenSpot-v2 berichten sie, dass die Genauigkeit nach der Reparatur von 0 % bei der beschädigten Kopie auf 89 % stieg, gegenüber 93 % beim Basismodell.

Je nach Größe unterschiedliche Ergebnisse

Das Team verglich außerdem Modelle einer Modellfamilie mit 2B, 4B, 9B und 27B Parametern und gab ihnen dieselbe Aufgabe und dieselben Werkzeuge. Das 2B-Modell nahm keine Änderung vor, während die 4B- und 9B-Modelle ihre eigene Leistung verschlechterten, heißt es in der Arbeit. Nur das 27B-Modell verbesserte sich in diesen Tests selbst und reparierte seine beschädigte Kopie.

Die Arbeit weist auf einen Unterschied bei den Sitzungsbudgets hin: Beim Budget, das allen Größen gemeinsam war, kam das 27B-Modell bei mehr der Schritte voran, die zum Umschreiben seiner selbst gehörten. Andere Sitzungen mit seinen eigenen Gewichten gaben dagegen ein kürzeres Token-Budget an, wodurch Zeit für weitere Tests blieb. Die Autoren schreiben, dass jede Sitzung, die hinter den größten Zugewinnen stand, einige Stunden auf einer einzelnen GPU lief und dass die daraus hervorgehende Änderung in den Gewichten verbleibt, ohne den Rechenaufwand für jede folgende Antwort zu erhöhen.

Quellen

  1. Originalquelle · Preprint Language Models Can Rewrite Their Own Weights arXiv:2611.21885

Verwandte Meldungen

Entdecken

Weitere Artikel