Vai al contenuto
AI.info

The Pulse

EUROPA riferisce di un addestramento MoE su scala 1T più rapido su un supercomputer pubblico

Il consorzio EUROPA afferma di aver aumentato la velocità di elaborazione dell’addestramento sul supercomputer JUPITER da 90 a circa 1.300 token al secondo per GPU. La sua configurazione sperimentale mixture-of-experts ha 951,9 miliardi di parametri, di cui 32,8 miliardi attivi per token.

EUROPA riferisce di un addestramento MoE su scala 1T più rapido su un supercomputer pubblico

Un consorzio europeo afferma di aver aumentato la velocità di elaborazione dell’addestramento di un modello mixture-of-experts con circa 1000 miliardi di parametri da 90 a circa 1.300 token al secondo per GPU sul supercomputer JUPITER, finanziato con fondi pubblici. Il consorzio EUROPA ha descritto il lavoro in un articolo del 12 novembre sul sito di PyTorch, riferendo di aver ottenuto il risultato su 384 GPU NVIDIA GH200 distribuite su 96 nodi.

La configurazione sperimentale del modello ha 951,9 miliardi di parametri, di cui 32,8 miliardi attivi per token. EUROPA è composto da Domyn e Fraunhofer IAIS e IIS, e il suo lavoro rientra nella EuroHPC Frontier AI Grand Challenge.

Una macchina condivisa

JUPITER è un supercomputer exascale EuroHPC ospitato presso Forschungszentrum Jülich. A differenza di un cluster riservato a un singolo sviluppatore di modelli, è un’infrastruttura di ricerca condivisa, con hardware configurato per supportare sia il lavoro scientifico sia l’addestramento dell’IA.

La configurazione del modello usata negli esperimenti ha 74 livelli e 384 esperti instradati, di cui vengono selezionati i migliori otto per ogni token. La lunghezza della sequenza di preaddestramento è di 65.536 token e la configurazione usa gli ottimizzatori Muon e AdamW.

Domyn ha precisato che la configurazione era ancora in evoluzione e che alcuni dettagli avrebbero potuto diventare obsoleti. Nel suo resoconto complementare, l’azienda ha affermato che alcuni valori della configurazione potrebbero cambiare prima dell’inizio della sessione di addestramento.

Aggirare i limiti di larghezza di banda

Ogni nodo JUPITER Booster ha quattro superchip GH200, ciascuno dei quali abbina una GPU Hopper a una CPU Grace. La connessione tra i nodi è molto più lenta del collegamento tra una GPU e la propria CPU, quindi il team ha cercato di sovrapporre il traffico di rete ai calcoli e di ridurre la quantità di dati inviati tra i nodi.

Il consorzio ha usato il parallelismo dei dati completamente suddiviso, o FSDP, su 384 unità, con parallelismo degli esperti su quattro unità all’interno di ogni nodo e senza parallelismo di pipeline. In questo modo lo scambio di token tra gli esperti del modello mixture-of-experts è rimasto sui collegamenti più veloci all’interno di un nodo.

Un altro vincolo era la memoria host. Dedotta la quota del kernel, erano utilizzabili circa 108 GiB per GPU e il team ha rilevato che alcuni nodi avviavano i processi con una quantità di memoria sostanzialmente inferiore. Questo limitava la quantità di stato dell’addestramento che poteva essere trasferita fuori dalla memoria delle GPU.

Modifiche allo stack di addestramento

Il team ha usato FlexShard, ora parte di TorchTitan, per assegnare intere matrici degli esperti ai singoli rank. Ogni rank poteva così elaborare i propri esperti mentre le matrici dense erano in transito, sovrapponendo quella comunicazione ai calcoli.

I ricercatori hanno affermato che lo spostamento dalla CPU alla GPU di una parte computazionalmente intensiva del passaggio dell’ottimizzatore Muon ha ridotto la durata di tale passaggio da 41,7 secondi a 2,2 secondi. In quel confronto, la velocità di elaborazione è salita da 441 a 597 token al secondo per GPU.

Hanno inoltre copiato i checkpoint delle attivazioni nella memoria Grace dopo il passaggio in avanti e li hanno riportati nella memoria della GPU prima del ricalcolo nel passaggio all’indietro. Il team ha riferito che questo trasferimento ha aumentato la velocità di elaborazione da 370 a 508 token al secondo per GPU, mentre la lunghezza della sequenza è aumentata prima a 49.152 token e poi, con Muon, a 65.536.

Allocazione della memoria e lavoro ancora da svolgere

Dopo un aggiornamento dello stack software, i ricercatori hanno riscontrato nuovi tentativi di allocazione nonostante fosse ancora disponibile memoria GPU. La loro indagine ha individuato memoria trattenuta in cache di stream separate che lo stream di calcolo non poteva riutilizzare.

Hanno adattato la loro operazione di raccolta affinché usasse un flag di FSDP2 che colloca la predisposizione dell’allocazione sullo stream di calcolo. Il consorzio ha affermato che la modifica ha ridotto da 384 a zero i rank interessati da nuovi tentativi di allocazione; il picco di memoria riservata è sceso da 88,1 a 74,6 GiB e la velocità di elaborazione è salita da 996 a 1.210 token al secondo per GPU.

Il team ha contribuito con modifiche a PyTorch e TorchTitan, tra cui hook per il trasferimento dei checkpoint delle attivazioni. Ha anche testato modi per bilanciare i dati di addestramento e i carichi di lavoro degli esperti; Domyn ha affermato che un vincolo nell’instradamento verso gli esperti ha migliorato la velocità di elaborazione ma potrebbe influire sull’efficacia dell’addestramento, e che il team stava ancora valutando se mantenerlo o allentarlo.

Il bilanciamento dei dati raggruppa documenti con costi di attenzione simili negli stessi passaggi di addestramento, il che può influire sulle dinamiche dell’addestramento. Il gruppo prevede una fase dedicata ai contesti lunghi per compensare tale effetto.

Fonti

Notizie correlate

Esplora

Altri articoli