The Pulse
d-Matrix avvia le consegne dei cluster Squadron con un massimo di 1.024 XPUs
d-Matrix afferma che le consegne dei suoi nuovi cluster Squadron per l’inferenza sono iniziate per i clienti prioritari e che i sistemi possono arrivare a 1.024 Corsair XPUs distribuite su 16 rack. I sistemi raffreddati ad aria abbinano gli
AI.info Team · Scritto con l’IA ·
d-Matrix presenta Squadron come un sistema di inferenza su scala di data center, ma le prime installazioni sono destinate a clienti prioritari, anziché al mercato senza restrizioni. L’azienda ha annunciato i cluster multi-rack il 12 ottobre all’OCP Global Summit di San Jose, dichiarando che le consegne ai clienti sono in corso, mentre i server Corsair e gli SquadRacks sono disponibili per tutti. La configurazione più grande collega fino a 1.024 Corsair XPUs.
Sedici rack, fino a 1.024 XPUs
Secondo d-Matrix, un cluster Squadron può comprendere fino a 16 SquadRacks, ciascuno con otto server. Le schede di interfaccia di rete JetStream collegano i sistemi, mentre il software Aviator dell’azienda è pensato per supportarne l’installazione. I clienti possono iniziare con un singolo server Corsair o uno SquadRack prima di espandersi a un cluster multi-rack.
d-Matrix afferma che i sistemi sono raffreddati ad aria e utilizzano progetti conformi agli standard del settore, così gli operatori dei data center possono installarli nelle strutture esistenti senza aggiungere il raffreddamento a liquido. L’azienda descrive Squadron come un’infrastruttura di inferenza su scala di megawatt per applicazioni sensibili alla latenza, come la programmazione, gli agenti personali, la cybersicurezza e il trading ad alta frequenza. Nell’annuncio non ha fornito né un prezzo né il nome di un cliente.
Dai modelli eseguiti solo su Corsair ai carichi di lavoro GPU-XPU
L’annuncio descrive due modalità di utilizzo. Squadron può eseguire i modelli interamente sulle Corsair XPUs oppure operare insieme a server GPU in una configurazione disaggregata, che assegna parti diverse del carico di lavoro a processori diversi. Nel suo intervento principale all’OCP, il fondatore e amministratore delegato di d-Matrix Sid Sheth ha dichiarato che l’azienda aveva implementato Attention-FFN Disaggregation, o AFD, su Squadron abbinato a server GPU.
«Con l’avvio delle consegne di Squadron e la disponibilità generale dei nostri server Corsair e SquadRacks, l’attesa è finita».
Sid Sheth, fondatore e amministratore delegato di d-Matrix
Nella dimostrazione di AFD descritta da d-Matrix, il sistema ha trasferito ai rack Corsair gli esperti, ovvero la componente di rete feed-forward, del carico di lavoro. L’azienda ha riportato 845 token al secondo per utente e un throughput complessivo di 20.415 token al secondo con 64 utenti simultanei. L’annuncio non identifica il modello né fornisce una base di confronto, quindi queste cifre descrivono la dimostrazione di d-Matrix e non un risultato prestazionale confrontabile in modo indipendente.
Le consegne ai clienti prioritari mettono alla prova il lancio
d-Matrix afferma di aver già installato Squadron nel proprio data center in Arizona per attività interne di ricerca e sviluppo e che ora sta consegnando i sistemi ai clienti prioritari, perché li installino nelle proprie strutture. Arista, Broadcom e Supermicro hanno collaborato con l’azienda al sistema. Il presidente e amministratore delegato di Supermicro Charles Liang ha dichiarato che la collaborazione si basa sul lavoro di ingegneria e integrazione dei sistemi svolto dalle aziende per portare l’infrastruttura sul mercato.
La distinzione tra disponibilità e consegne è importante: d-Matrix afferma che i server Corsair e gli SquadRacks sono disponibili per tutti, mentre le consegne di Squadron sono inizialmente destinate ai clienti prioritari. L’annuncio non fornisce nomi dei clienti, prezzi o volumi delle consegne. La prossima dimostrazione pubblica è in programma presso lo stand di d-Matrix all’OCP il 14 e 15 ottobre, quando i ricercatori dell’azienda intendono mostrare la configurazione AFD.