Vai al contenuto
AI.info

Ricerca

Momento Adam unilaterale fattorizzato per uno SOAP pratico e scalabile

Gli ottimizzatori del secondo ordine (per esempio, Shampoo e SOAP) si sono affermati come alternative promettenti ad Adam/AdamW e promettono una convergenza più rapida per passo rispetto ad AdamW…

Momento Adam unilaterale fattorizzato per uno SOAP pratico e scalabile
arXiv
2611.16905
Pubblicato
2026-11-12
Autori
Jaemyung Yu, Byeongho Heo, Sangdoo Yun, Dongyoon Han

Abstract degli autori

Gli ottimizzatori del secondo ordine (per esempio, Shampoo e SOAP) si sono affermati come alternative promettenti ad Adam/AdamW e promettono una convergenza più rapida per passo rispetto ad AdamW nell’addestramento dei transformer. Tuttavia, nella pratica restano costosi, e anche SOAP comporta ancora costi elevati in termini di memoria per lo stato dell’ottimizzatore e di decomposizione agli autovalori. Ci chiediamo se sia possibile conservare i vantaggi di SOAP con un’efficienza quasi pari a quella di AdamW. In questo articolo rispondiamo di sì con una variante leggera di SOAP, Factored One-sided Adam-Moment (FOAM). Il percorso verso un impatto pratico si articola in due parti: primo, FOAM applica un precondizionamento solo all’input, eliminando il fattore di Kronecker sul lato dell’output per ridurre l’uso di memoria ed evitare una decomposizione agli autovalori. La struttura di Kronecker dell’Hessiana mostra che questo approccio è esatto con una curvatura diagonale sul lato dell’output e quasi senza perdita con una curvatura quasi diagonale, come osserviamo empiricamente. Secondo, FOAM sostituisce il momento secondo denso ruotato di SOAP con un estimatore fattorizzato del momento Adam basato su statistiche per riga e per colonna. Nell’ipotesi di Fisher di K-FAC con una curvatura diagonale sul lato dell’output, questo estimatore ricostruisce esattamente il momento secondo denso di SOAP; misuriamo inoltre una violazione dell’ipotesi K-FAC di appena il 15–20%, con un effetto trascurabile sull’aggiornamento. I nostri risultati empirici indicano che FOAM eguaglia i solidi baseline SOAP e Muon in termini di loss di validazione a diverse scale di pre-addestramento di modelli linguistici di grandi dimensioni (LLM), utilizza metà dello stato dell’ottimizzatore di SOAP, richiede tempi di esecuzione paragonabili a quelli di Muon e mantiene la propria robustezza lungo un intervallo di learning rate con un’ampiezza di un fattore tre. I risultati valgono per modelli da 124M a 760M di parametri e dimostrano che i vantaggi di SOAP non richiedono necessariamente i suoi costi. Codice: https://github.com/naver-ai/foam

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv