Il tuo programma di LR potrebbe non essere fondato su principi solidi: pianificazione del tasso di apprendimento effettivo nell’addestramento con normalizzazione dei pesi

Abstract degli autori

L’addestramento con normalizzazione dei pesi (WN) si sta affermando come un’alternativa convincente al convenzionale decadimento dei pesi (WD), con studi recenti che riportano notevoli miglioramenti della loss di pretraining. Mostriamo che questi miglioramenti sono dovuti principalmente alla traiettoria del tasso di apprendimento effettivo (ELR) che ne deriva, piuttosto che alla sola normalizzazione. Rendere corrispondenti le traiettorie dell’ELR fa sì che le dinamiche della loss di addestramento di WN e WD risultino pressoché sovrapponibili. La progettazione degli schedule dovrebbe quindi puntare all’ELR, anziché al solo tasso di apprendimento nominale (LR). Sulla base di questo principio, proponiamo AIR (decadimento affine a radice quadrata inversa), che combina un decadimento $1/\sqrt{t}$ derivato teoricamente con un aggiustamento affine, così da rispettare i valori di picco e terminale del LR prescritti su un orizzonte di addestramento finito. Individuiamo inoltre nella pianificazione dell’ELR nelle fasi finali una fonte fondamentale dei miglioramenti, perché uno schedule comune per la fase finale attenua l’effetto delle scelte di LR precedenti. Gli esperimenti di pretraining Mixture-of-Experts su 128 miliardi di token dimostrano che AIR supera il decadimento coseno e gli altri schedule candidati in termini di loss di addestramento, prestazioni downstream e robustezza agli iperparametri, riducendo la loss di addestramento finale di circa 0,01 rispetto al decadimento coseno, a parità di LR cumulativo. Applicando la stessa traiettoria di ELR al WD si riproducono le corrispondenti dinamiche di addestramento: ciò dimostra che i vantaggi vanno oltre l’addestramento a norma fissa e conferma che l’ELR è il riferimento teoricamente fondato per la pianificazione degli schedule.