The Pulse
Meta illustra Prometheus, il suo cluster di IA su scala gigawatt
Meta afferma che la prima fase di Prometheus, il suo supercluster di IA a New Albany, in Ohio, è stata completata e ha addestrato i modelli Muse dell’azienda. La società illustra i piani per portare il cluster verso un milione di GPU e ne d
AI.info Team · Scritto con l’IA · verificato ·
Meta afferma che la prima fase di Prometheus, il suo supercluster di IA su scala gigawatt a New Albany, in Ohio, è stata completata e ha addestrato i modelli Muse dell’azienda. In un post tecnico del 19 ottobre, la società descrive un impianto in cui sono già operative centinaia di migliaia di GPU distribuite tra edifici collegati, con l’obiettivo di arrivare a circa un milione.
Il sito, che secondo Meta due anni fa era un data center convenzionale destinato a gestire il traffico web, oggi combina edifici tradizionali, edifici ottimizzati per l’IA e strutture a rapida installazione. Meta presenta Prometheus come un’unica macchina distribuita tra queste strutture, realizzata per addestrare modelli più grandi e supportare finestre di contesto più lunghe. È il resoconto dell’azienda stessa: nel post, i dati sulle prestazioni e le descrizioni non sono sottoposti a verifica indipendente.
L’addestramento di Muse ha messo alla prova l’affidabilità
Meta riferisce un goodput superiore all’85% nelle sessioni di preaddestramento di Muse Wonder e superiore al 90% nell’apprendimento per rinforzo. Il goodput misura il tempo di addestramento produttivo, non semplicemente il tempo in cui le apparecchiature restano accese. Durante quelle sessioni, afferma l’azienda, il tempo medio tra le interruzioni è stato di circa 47.000 ore-GPU; successive modifiche al firmware e al parco macchine hanno portato il valore a oltre 54.000 ore-GPU.
Il post definisce le interruzioni come guasti che costringono a sospendere un’attività di addestramento e a riprenderla, compresi problemi relativi a GPU, reti, sistemi di archiviazione e temperatura. Meta afferma che, nella fase iniziale a metà del 2025, Prometheus registrava quasi 1.000 interruzioni al giorno ogni 8.000 GPU. Dopo un anno di lavoro ingegneristico, l’azienda riferisce una riduzione del 99%, pur fissando l’obiettivo di due interruzioni al giorno ogni 8.000 GPU.
I rack GB200 e GB300 si dividono il carico di lavoro
Prometheus utilizza attualmente due piattaforme NVIDIA, entrambe basate su sistemi NVL72 da 72 GPU. La prima, Catalina, impiega GPU GB200 in una configurazione a due rack. Secondo Meta, offre una potenza di calcolo di picco per l’addestramento di 720 petaflops in FP8 e assorbe circa 120 kilowatt complessivi nei due rack.
La seconda piattaforma, Clemente, impiega GPU GB300 e racchiude il dominio da 72 GPU in un solo rack. Meta indica 288 gigabyte di memoria HBM3e per GPU, il 50% in più rispetto alla configurazione GB200, e una potenza di calcolo di picco superiore a un exaflop in FP4. Secondo l’azienda, Clemente migliora le prestazioni dal 5% al 10% rispetto a GB200 NVL72 e offre anche il raffreddamento a liquido assistito ad aria o tramite l’impianto.
Meta afferma che i sistemi Vera Rubin NVL72 di NVIDIA arriveranno in una fase successiva con la piattaforma San Miguel. Le specifiche riportate nel post descrivono un sistema previsto, non hardware già operativo a Prometheus: per ciascun rack è indicata una potenza superiore a 170 kilowatt, con moduli di calcolo interamente raffreddati a liquido.
La fibra collega edifici distanti fino a 100 chilometri
Prometheus si affida a una rete Ethernet back-end dedicata al traffico tra GPU, separata dalla rete che Meta usa per i normali servizi dei data center. Le reti interne ai singoli edifici collegano ciascuna fino a 20.736 GPU. Secondo Meta, una rete di aggregazione back-end collega queste reti su distanze che vanno da due chilometri a oltre 100 chilometri, con una larghezza di banda di diversi petabit al secondo per ciascuna coppia regionale.
L’azienda afferma che la rete comprende milioni di miglia di filamenti di fibra ottica, decine di migliaia di switch e milioni di componenti ottici. Il progetto combina due tipi di rete interna agli edifici: un sistema precedente con scheduling e uno più recente senza scheduling, che utilizza switch Ethernet da 51,2 terabit. Secondo Meta, i collegamenti più lunghi rendono più difficile l’addestramento perché i segnali non possono viaggiare più veloci della luce; i team di ingegneria hanno adattato l’addestramento e le comunicazioni per tenere conto del ritardo.
Sbalzi di potenza e sistemi di raffreddamento diversi
Meta descrive carichi di addestramento che possono far variare la richiesta di potenza del cluster dal 30% al 40% quando le GPU passano dal calcolo alla comunicazione. L’avvio o la sospensione di un’importante attività può modificare il carico di decine di megawatt nell’arco di pochi secondi. L’azienda afferma che il suo framework Dynamo Dimmer regola i limiti di potenza delle GPU quando il cluster si avvicina alla propria capacità elettrica massima, con il supporto di batterie a livello di rack e di impianto.
Il sito distribuito utilizza più di un sistema di raffreddamento. Secondo Meta, gli edifici esistenti e le strutture a rapida installazione usano un raffreddamento modulare a liquido assistito ad aria, mentre un data center costruito appositamente per l’IA usa il raffreddamento a liquido dell’impianto. L’azienda afferma che gli accordi relativi al sito di New Albany coprono l’intero costo energetico del sito e abbinano i consumi a nuova energia pulita e rinnovabile.
Nel suo post, Meta presenta gli argomenti tecnici a favore di Prometheus attraverso il grado di utilizzo, la portata della rete e i tempi di ripristino, oltre che attraverso la capacità complessiva. La prima fase ha addestrato i modelli Muse; i prossimi passi sono l’installazione di ulteriori GB300 e il passaggio previsto ai sistemi Vera Rubin.