The Pulse
Meta illustra le reti per cluster di IA su scala gigawatt
Meta ha illustrato le architetture di rete del suo cluster di IA Prometheus, tra cui rack di switch raffreddati a liquido da 102,4 terabit e una fabric estesa su più siti. L’azienda afferma inoltre di portare avanti gli standard Ethernet ap
AI.info Team · Scritto con l’IA · verificato ·
Meta promuove le reti aperte per i cluster di IA, ma avverte che una componente fondamentale della progettazione degli switch resta proprietaria e frammentata. In un post pubblicato il 26 ottobre, l’azienda ha illustrato il lavoro sulle reti per il suo cluster Prometheus su scala gigawatt, tra cui switch raffreddati a liquido da 102,4 terabit e un nuovo standard pensato per ridurre la duplicazione del lavoro di ingegneria delle piattaforme.
Il problema è pratico: secondo Meta, il software del piano dati può essere portabile, ma il livello sottostante della piattaforma degli switch richiede ancora di ripetere il lavoro per hardware diversi. La sua risposta combina architetture sviluppate con partner del settore e proposte presentate all’Open Compute Project (OCP), anziché puntare su un unico sistema uniforme.
Gli switch da 102,4T arrivano nei rack raffreddati a liquido
L’architettura IcePack e IceCube di Meta abbina un rack di rete raffreddato a liquido a moduli switch con una capacità di 102,4 terabit al secondo. Le configurazioni elencate impiegano 128 porte Ethernet da 800 gigabit e chip per switch Broadcom Tomahawk 6C o NVIDIA Spectrum-6. Meta afferma che i sistemi eseguono FBOSS, il suo sistema operativo di rete.
Nel post dedicato al summit, l’azienda descrive gli switch come non bloccanti e li presenta come parte di uno stack di rete più ampio, non come un semplice aumento della velocità. Meta ha inoltre messo in evidenza il lavoro sulle ottiche integrate, tra cui la validazione di ottiche co-packaged da 51,2T e il lavoro di ingegneria per una generazione da 102,4T. Il post presenta questo lavoro come un esame dei compromessi in termini di consumi, densità, disaggregazione e affidabilità.
Otto piani di rete, poi una rete tra siti
Per il traffico scale-out all’interno del cluster, Meta ha descritto una Flattened Planar Fabric in cui ogni GPU si connette a otto piani di rete. L’architettura riduce la topologia Clos da tre livelli a due, distribuisce i pacchetti a livello di NIC e combina i piani di controllo degli host e degli switch. Meta afferma di sviluppare la fabric con NVIDIA e di condividerla con partner cloud.
Per il traffico tra edifici, campus e regioni, Meta ha indicato Backend Aggregation, o BAG, una super-spine su scala petabit pensata per collegare questi siti in una rete di addestramento unificata. L’azienda ha descritto anche dorsali regionali che usano Segment Routing over IPv6 (SRv6) ed eseguono FBOSS e Switch Abstraction Interface (SAI). Il post di Meta elenca l’affidabilità operativa, la gestione delle distanze e la pianificazione della capacità tra le sfide ingegneristiche affrontate nella sessione dedicata a BAG.
OSPA punta a ridurre il lavoro ripetuto sulle piattaforme
Secondo Meta, il livello della piattaforma degli switch può comportare mesi di lavoro duplicato per la messa in funzione di ogni piattaforma, anche se standard come SAI hanno reso portabili alcune parti del software degli switch. La proposta Open Switch Platform Architecture (OSPA) mira a standardizzare quel livello. Meta, Microsoft e Alibaba guidano insieme l’iniziativa OCP e, secondo Meta, la specifica nella versione 1.0 è stata presentata all’organizzazione.
L’annuncio di OCP su OSPA descrive la bozza come un’architettura di riferimento indipendente dai fornitori e afferma che è al vaglio della Foundation. Elenca contributi di aziende di hardware e reti, tra cui Accton, Arista, Celestica, Cisco, Nvidia e Wistron. OSPA riguarda la gestione della piattaforma; non definisce il comportamento di instradamento o inoltro.
Meta rende open source il suo software di trasporto
Il post sul summit afferma inoltre che Meta rende disponibili come open source le sue implementazioni software di MetaRoCE. La prima versione è un’implementazione in spazio utente su GitHub, a cui seguirà una versione basata su DPDK, secondo Meta. MetaRoCE è il sistema di trasporto RDMA dell’azienda per le reti di IA, mentre altre presentazioni hanno trattato lo scale-up Ethernet, tra cui Tahan per il sistema MTIA 300 di Meta e i progressi verso la prossima specifica ESUN.
Meta ha pubblicato le registrazioni e le slide delle sessioni del summit insieme alla sua sintesi tecnica. Le informazioni diffuse collegano l’architettura del cluster a hardware specifico, software aperto e lavoro sugli standard; la bozza di OSPA, nel frattempo, è ancora al vaglio di OCP.