The Pulse

Z.ai ha costruito lo stack di inferenza di GLM-5.3-Flash su 100.000 chip per l’IA

Z.ai ha costruito il sistema di inferenza in produzione per GLM-5.3-Flash su oltre 100.000 acceleratori per l’IA di fabbricazione cinese. L’azienda riferisce che il throughput è triplicato e afferma che un agente di IA per la programmazione

AI.info Team · Scritto con l’IA · verificato · 2026-09-17

100.000 acceleratori, sei giorni, 62.000 miliardi di token

Z.ai ha distribuito GLM-5.3-Flash su un cluster di oltre 100.000 acceleratori per l’IA di fabbricazione cinese, per poi utilizzare il sistema per elaborare oltre 62.000 miliardi di token in sei giorni, con traffico reale. L’azienda descrive il lavoro come un primo esempio di sistema di IA che contribuisce a costruire l’infrastruttura necessaria a far funzionare i suoi successori.

I dati compaiono in un post di Z.ai del 17 settembre 2026 che descrive come l’azienda sia passata dalla prima esecuzione riuscita di GLM-5.3-Flash sul nuovo hardware a un servizio in produzione. Secondo Z.ai, il modello era pronto per la produzione in meno di due settimane e il sistema finale di serving ha raggiunto un throughput end-to-end circa tre volte superiore al valore di riferimento iniziale.

La distribuzione è degna di nota perché, secondo Z.ai, nessuno aveva mai gestito un cluster di acceleratori di fabbricazione cinese su quella scala. L’hardware presentava diversi vincoli contemporaneamente: capacità e larghezza di banda della memoria limitate, supporto incompleto per i kernel, un ecosistema software immaturo e scarsa documentazione su cui il team di ingegneri potesse fare affidamento.

GLM-5.3-Flash ha imposto una diversa progettazione del serving

Il modello ha imposto ulteriori requisiti al sistema. GLM-5.3-Flash supporta una finestra di contesto da 1 milione di token e richieste multimodali, che aumentano entrambe le esigenze di gestione della memoria e di trasferimento dei dati durante l’inferenza.

Invece di trattare il cluster di acceleratori come un sostituto immediato di una piattaforma GPU più consolidata, l’azienda ha riprogettato lo stack di serving attorno all’architettura del modello e ai limiti dell’hardware. Il sistema risultante combina diverse forme di parallelismo, quantizzazione, gestione della memoria e pianificazione delle richieste.

Z.ai indica come componenti principali il parallelismo tensoriale all’interno dei nodi per l’attenzione lineare e la testa del modello linguistico, ReplaySSM, la quantizzazione W8A8, la quantizzazione della cache a precisione mista con INT8, FP8 e BF16, e Layer Split. L’azienda ha inoltre aggiunto un’architettura Encode-Prefill-Decode che separa le fasi di elaborazione delle richieste, anziché gestirle attraverso un unico percorso di serving indiviso.

Il throughput è triplicato scambiando memoria con capacità di calcolo

La strategia di ottimizzazione ha spesso scambiato una risorsa scarsa con un’altra. Gli ingegneri di Z.ai hanno scambiato calcolo aggiuntivo con larghezza di banda e comunicazione con memoria dei dispositivi, scelte volte a mantenere produttivo l’insieme degli acceleratori nonostante i suoi limiti di capacità.

Secondo l’azienda, le modifiche combinate hanno migliorato le prestazioni end-to-end del serving di circa tre volte. Z.ai afferma che anche l’efficienza nell’utilizzo dell’hardware e il costo per token hanno raggiunto livelli paragonabili a quelli delle implementazioni più diffuse con GPU Nvidia, sebbene il post non fornisca una tabella dettagliata dei costi né un benchmark riprodotto in modo indipendente.

Il confronto è quindi un risultato operativo riferito dall’azienda, non una valutazione pubblica standardizzata. Il resoconto di Z.ai chiarisce comunque la direzione del lavoro di ingegneria: ridurre la pressione sulla memoria, mantenere il flusso di dati attraverso il cluster e adattare l’insolita architettura del modello a un hardware con uno stack software meno maturo.

Un Infra Agent ha lavorato nel ciclo di ottimizzazione

Il lavoro non è stato svolto soltanto dagli ingegneri dell’infrastruttura. Gran parte dell’implementazione è stata realizzata con un «Infra Agent» basato su GLM-5.3, che generava e modificava il codice ricevendo dal sistema di serving riscontri sulle prestazioni e sulla correttezza.

La descrizione dell’azienda pone un’enfasi insolita su questo ciclo di feedback. Una base di codice può fornire a un agente informazioni statiche su funzioni e dipendenze, ma non può spiegare da sola perché un test numerico sia fallito, perché il tempo al primo token sia aumentato del 30 per cento o perché il throughput in uscita sia diminuito dopo una modifica.

Z.ai ha quindi costruito un processo che collegava i risultati end-to-end a parti specifiche del sistema, tra cui kernel, scelte di parallelismo, schemi di comunicazione, allocazione della memoria e orchestrazione del serving. L’agente poteva quindi usare questi segnali per proporre una nuova ipotesi e decidere cosa testare in seguito.

Ox-Alpha ha rivelato il carico di lavoro in produzione

Prima del lancio pubblico di GLM-5.3-Flash, Z.ai lo ha testato con il nome anonimo Ox-Alpha su OpenCode e OpenRouter. Secondo l’azienda, il modello è diventato il più utilizzato su entrambe le piattaforme entro una settimana dal lancio e ha elaborato oltre 62.000 miliardi di token in sei giorni.

Quelle distribuzioni hanno fornito a Z.ai un carico di lavoro che andava oltre i benchmark interni. Le richieste reali hanno messo in luce l’interazione tra contesti lunghi, input multimodali, architettura del modello, memoria degli acceleratori e decisioni di serving, su una scala che test isolati non avrebbero riprodotto.

Il traffico in produzione ha inoltre fornito all’Infra Agent un flusso di errori e regressioni concreti da analizzare. Z.ai presenta quell’ambiente operativo come parte del metodo di ingegneria, non semplicemente come una fase finale di convalida successiva al completamento del software.

Z.ai definisce il risultato una prima forma di automiglioramento ricorsivo

Z.ai presenta il progetto come un primo passo verso l’automiglioramento ricorsivo, un concetto secondo cui un sistema di IA contribuisce alla progettazione o all’addestramento di un successore. L’azienda non sostiene che GLM-5.3-Flash possa progettare e addestrare autonomamente un nuovo modello dall’inizio alla fine.

Il post descrive invece una capacità più circoscritta: GLM-5.3 ha contribuito a costruire l’infrastruttura di inferenza usata per il serving di GLM-5.3-Flash, comprese modifiche al codice e attività di ottimizzazione che, secondo Z.ai, in precedenza avrebbero richiesto settimane a un team di ingegneri dell’infrastruttura esperti.

La distinzione è importante. Il sistema presentato dipende ancora da obiettivi, hardware, procedure di valutazione e controlli di distribuzione definiti dagli esseri umani. Z.ai riferisce di un ciclo di lavoro ingegneristico assistito dall’IA che ha abbreviato il percorso dall’adattamento all’hardware al servizio in produzione, producendo al contempo miglioramenti misurabili su un grande cluster.

Il risultato più concreto è il sistema di serving stesso: oltre 100.000 acceleratori di fabbricazione cinese, un miglioramento del throughput riferito come triplo rispetto al valore di riferimento iniziale e una distribuzione in produzione completata in meno di due settimane. Il post di Z.ai lascia aperta la questione di quanto di quella rapidità sia dovuto al ragionamento e alla generazione di codice di GLM-5.3 e quanto agli ingegneri che hanno progettato il sistema di feedback attorno al modello.