Gli embedding dei token quasi nulli bloccano silenziosamente l’addestramento nei modelli sequenziali con gating

Abstract degli autori

Tra 291 repository di modelli linguistici open-weight esaminati (280 tabelle di embedding distinte), il 52,6% dei checkpoint gated e ibridi con embedding non condivisi (20/38) contiene embedding di input raggiungibili con norme inferiori a $10^{-6}$, contro lo 0% dei modelli con embedding legati ai pesi. Righe quasi nulle di questo tipo possono emergere durante il pretraining quando token rari o token di template non incontrati ricevono gradienti di input pari a zero, mentre il weight decay di AdamW riduce gli embedding non condivisi. Nelle configurazioni Transformer testate, le posizioni non iniziali o un token BOS prevengono questa modalità di errore. Nei modelli sequenziali con gating (Mamba, Gated DeltaNet, xLSTM), un token quasi nullo può amplificare i gradienti degli embedding di input di oltre 30 ordini di grandezza (fino a 35). Con input nullo, i fattori di lettura del token corrente (gate SiLU o query lineari) si annullano, sopprimendo la lettura dello stato storico. I valori RMS del residuo possono quindi scendere al di sotto della radice quadrata del floor di RMSNorm per più layer consecutivi, facendo sì che Pre-RMSNorm amplifichi i gradienti all’indietro fino a $10^3$ volte per layer. Quando una componente del gradiente supera $1.84 \times 10^{19}$, il clipping della norma globale in FP32 di PyTorch, Hugging Face Trainer e FSDP2 può andare in overflow fino a infinito e azzerare i gradienti del batch corrente. Nel pretraining continuo in Telugu di Nemotron-3-Nano-4B, questo scarta gli aggiornamenti in circa il 20% degli step e lascia congelate le righe interessate. Proponiamo due rimedi. Per i checkpoint rilasciati, GroupClip disaccoppia il clipping degli embedding di input usando una norma a 64 bit o riscalata; la sua implementazione con norma riscalata elimina la perdita di aggiornamenti e corregge le righe interessate in un solo passo, con un overhead end-to-end misurato trascurabile. Per il pretraining, GateFloor ($\mathrm{SiLU}(z) + δ$, $δ\in [0.01, 0.1]$) mantiene positivo il gate con input nullo, riducendo di 28 ordini di grandezza i gradienti quasi nulli negli esperimenti con un massimo di 370 milioni di parametri, e ottenendo una perplexity comparabile a quella del modello di riferimento.