MUON-RT Riutilizzare la traiettoria dell’insegnante per Muon senza momentum nell’autodistillazione degli LLM

Abstract degli autori

I metodi di autodistillazione per i modelli linguistici di grandi dimensioni con un modello insegnante a media mobile esponenziale (EMA) conservano già una cronologia degli aggiornamenti dello studente. Muon memorizza tuttavia un buffer di momentum separato, aumentando la memoria persistente necessaria all’addestramento. Proponiamo Muon with Reused Teacher (Muon-RT), che riutilizza lo spostamento tra insegnante e studente per eliminare i buffer di momentum dalle matrici dei pesi nascoste. Mostriamo che questo spostamento codifica una cronologia degli aggiornamenti applicati ponderata esponenzialmente e attenua il rumore temporalmente non correlato secondo un modello locale. Muon-RT rimuove la componente radiale, lo normalizza spettralmente e lo combina con il gradiente corrente dopo l’ortogonalizzazione Newton-Schulz (NS). Sotto ipotesi esplicite di regolarità e allineamento, dimostriamo una contrazione lineare del limite superiore del gap atteso dell’obiettivo, che tende a un livello di errore residuo. Con il Self-Distillation Fine-Tuning (SDFT) su Qwen2.5-7B-Instruct, Muon-RT migliora l’accuratezza media di 2,6 punti rispetto ad AdamW, con il 42% di memoria persistente in meno, e di 5,4 punti rispetto a Muon con momentum, con il 27% di memoria persistente in meno. Con il Self-Distillation Policy Optimization (SDPO) su Olmo-3-7B-Instruct, migliora l’accuratezza media di 2,0 punti rispetto ad AdamW.