Quando Muon è davvero migliore? Un benchmark con confronti appaiati a parità di budget di dati, tempo e ottimizzazione degli iperparametri

Abstract degli autori

I miglioramenti di Muon nell’efficienza d’uso dei dati motivano una valutazione delle sue prestazioni con budget espliciti di dati, tempo e ottimizzazione degli iperparametri. Su una singola GPU A100, confrontiamo un’implementazione di riferimento di Muon per un solo dispositivo con AdamW, usando modelli linguistici causali da 17,7 e 33,6 milioni di parametri e transformer per la visione da 2,70 milioni di parametri. Un budget di sviluppo comune di 23 configurazioni candidate determina le configurazioni, che vengono poi valutate con cinque seed appaiati, traiettorie di validazione complete, misurazioni dei tempi dei passi dell’ottimizzatore e un test una tantum fissato in anticipo. A parità di dati, Muon riduce del 3,25–22,44\% l’area sotto la curva della perdita di validazione e abbassa la perdita sul test in tutte le 20 coppie principali. In questa configurazione, Muon migliora del 19,68–22,31\% l’area sotto la curva della perdita normalizzata rispetto al tempo} per la visione, mentre AdamW ottiene risultati migliori del 3,38–6,96\% per il linguaggio. La chiamata completa all’ottimizzatore Muon, compresi gli aggiornamenti ausiliari di AdamW, occupa il 56,1–69,6\% del tempo di addestramento, contro il 6,1–9,1\% della configurazione di riferimento con AdamW. Muon presenta inoltre un regret atteso più elevato quando l’accesso a questi insiemi di candidati è limitato. Questi risultati riguardano modelli piccoli con kernel di riferimento; l’ordine delle prestazioni in termini di tempo effettivo non stabilisce una classifica per modelli più grandi o implementazioni ottimizzate.