The Pulse
Cerebras distribuisce Kimi K3, da 3 mila miliardi di parametri, su 59 chip a wafer
Cerebras descrive un esempio di implementazione che distribuisce Kimi K3 su 59 wafer WSE-3T, mantenendo i pesi del modello sui chip mentre le richieste attraversano una pipeline. La guida spiega l’approccio alla memoria e alla gestione dell
AI.info Team · Scritto con l’IA · verificato ·
«Questo significa che, nella maggior parte dei casi, i pesi del modello non devono mai essere spostati e non occorre suddividere i layer tra diversi wafer».
Sarah Chieng, in un articolo per Cerebras
La guida alla distribuzione pubblicata da Cerebras il 22 ottobre descrive come l’azienda ripartisce il modello Kimi K3, con circa 3.000 miliardi di parametri, su 59 wafer WSE-3T, mantenendo i pesi del modello sui chip mentre le richieste attraversano una pipeline. L’azienda presenta questa architettura come un esempio di come servire modelli più grandi della memoria di un singolo wafer, non come un resoconto di benchmark misurati in modo indipendente.
Perché Kimi K3 richiede 59 wafer
Un wafer WSE-3T dispone di 44 GB di memoria sul chip, mentre i soli pesi di Kimi K3 richiedono terabyte di memoria con una precisione ordinaria. Cerebras illustra una configurazione esemplificativa che usa una quantizzazione dei pesi a 4 bit, una cache chiave-valore a 8 bit e una lunghezza media ipotizzata delle richieste di 256.000 token. Sulla base di queste ipotesi, l’azienda stima che ciascuno dei 93 layer del modello occupi circa 16 GB.
La composizione dei layer determina come Cerebras distribuisce il modello. Kimi K3 ha 69 layer di attenzione lineare e 24 layer di attenzione densa, o completa. Cerebras assegna due layer lineari a ciascun wafer, occupando 32 dei suoi 44 GB, ma riserva un wafer a ogni layer denso perché l’attenzione densa memorizza chiavi e valori dei token nelle richieste attive.
Il calcolo porta a 35 wafer per i layer lineari e 24 per quelli densi: 59 in tutto. La memoria rimanente sui wafer dei layer densi ospita la cache KV. La stima dipende dalle ipotesi dichiarate sulla quantizzazione e sulla lunghezza delle richieste; non è un numero di wafer valido per ogni modello o configurazione di servizio.
I pesi restano fermi mentre si spostano le attivazioni
Cerebras descrive l’esecuzione come una pipeline. Il suo compilatore assegna i layer a regioni dei wafer, poi l’ambiente di esecuzione instrada i token tra le fasi. Secondo l’articolo, le attivazioni — i risultati intermedi passati da un layer all’altro — viaggiano tramite RDMA su Ethernet, impiegando circa due microsecondi per passaggio. In generale, i pesi del modello restano dove sono stati collocati, evitando di doverli spostare tra i wafer per ogni richiesta.
Nell’esempio semplificato della guida, un wafer esegue i layer 1 e 2, poi invia le proprie attivazioni a un secondo wafer che esegue i layer 3 e 4. Secondo l’azienda, le distribuzioni in produzione usano fasi più granulari. La distinzione è importante: l’esempio dei due layer spiega il principio, ma non specifica l’esatta disposizione delle fasi in una distribuzione di Kimi K3 in produzione.
Le richieste condividono la pipeline, non una coda d’attesa
Cerebras afferma che il suo sistema mantiene in elaborazione più richieste contemporaneamente. Mentre una fase elabora un token per la richiesta A, altre fasi possono lavorare sulle richieste B e C. Ogni fase può inoltre elaborare un micro-batch, un piccolo gruppo di richieste; secondo l’azienda, i micro-batch più piccoli favoriscono la velocità delle singole richieste, mentre quelli più grandi aumentano il throughput complessivo.
La velocità dichiarata richiede un contesto di misurazione
Cerebras presenta l’approccio come un modo per eseguire modelli con migliaia di miliardi di parametri a una velocità compresa tra 1.000 e oltre 2.000 token al secondo. La guida non collega questo intervallo a un test di Kimi K3 di cui siano stati riportati i risultati, condotto con un carico di lavoro specificato. Avverte inoltre che il numero di richieste simultanee e la dimensione dei batch, da soli, non mostrano con quale efficienza funzioni un sistema.
Per i confronti, Cerebras sostiene che la misura più utile sia il throughput totale di token per unità di potenza, per esempio i token al secondo per megawatt, misurando i sistemi alla stessa velocità di generazione dell’output. L’articolo fornisce un calcolo relativo alla distribuzione e una spiegazione dell’architettura; non offre, per l’esempio di Kimi K3, un confronto dei consumi a parità di condizioni.