Vai al contenuto
AI.info

The Pulse

Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD

Cerebras usa GPU AMD per elaborare i prompt e i suoi sistemi CS-3 per generare risposte nel proprio cloud di inferenza. L’azienda afferma che un test in produzione ha raggiunto un throughput per megawatt cinque volte superiore rispetto a una configurazione con soli sistemi CS-3, senza rallentare la generazione dei token.

Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD

Cerebras usa GPU AMD per elaborare i prompt dell’IA e i propri sistemi CS-3 per generare risposte in un’implementazione in produzione sul suo cloud di inferenza. L’azienda afferma che, in un test, la suddivisione ha raggiunto un throughput per megawatt cinque volte superiore rispetto a una configurazione con soli sistemi CS-3, senza ridurre la velocità di generazione dei token.

Il confronto deriva da un test del 14 novembre su un endpoint GPT-OSS-120B condiviso nel Cerebras Inference Cloud, con misurazioni effettuate prima e dopo l’attivazione della suddivisione. Cerebras ha pubblicato i risultati il 17 novembre, insieme ai dettagli su come i partner infrastrutturali possono adottare questo approccio.

Suddividere il lavoro

Una richiesta di inferenza ha due fasi principali. L’elaborazione del prompt, o prefill, gestisce l’input e produce uno stato intermedio del modello; la generazione della risposta, o decode, usa quello stato per produrre token in output.

Il decode genera i token uno alla volta, usando ciascun token generato come input per il successivo. Ogni passaggio richiede una nuova lettura dei dati del modello dalla memoria, il che rende la larghezza di banda della memoria importante per il processo.

Cerebras afferma che il suo chip wafer-scale dispone di decine di gigabyte di SRAM e di decine di petabyte al secondo di larghezza di banda della memoria: rispettivamente 350 volte la capacità di SRAM e 5.400 volte la larghezza di banda della memoria di una tipica GPU GB300. Secondo l’azienda, mantenere i dati sul chip consente ai suoi sistemi di gestire un numero maggiore di richieste simultanee e di livelli del modello al suo interno.

Nell’implementazione cloud, trasferire il prefill alle GPU AMD Instinct lascia ai sistemi Cerebras il compito di gestire la generazione delle risposte. L’azienda prevede di distribuire l’approccio suddiviso su centinaia di megawatt nel proprio cloud di inferenza e nelle implementazioni dei partner entro la fine del 2027.

Opzioni per i partner

I partner infrastrutturali possono usare un’architettura di riferimento fornita da Cerebras per implementare cluster che collocano gli acceleratori di prefill scelti da loro e i sistemi Cerebras su una rete unificata. Per il software, possono usare uno stack disaggregato completo oppure un kit di sviluppo software per il solo decode.

Lo stack completo include un framework che instrada le richieste tra i pool di prefill e decode e gestisce la capacità e lo stato delle repliche. Include anche un motore di prefill che può usare motori di inferenza open source come vLLM o SGLang e un motore di decode Cerebras per generare le risposte.

Il software KV Portal trasferisce lo stato intermedio del modello, incluse le cache key-value, tra i motori di prefill e decode tramite RDMA. Con l’SDK per il solo decode, i partner possono usare il proprio framework di inferenza e motore di prefill, avvalendosi al contempo del motore di decode Cerebras e di KV Portal.

L’SDK fornisce anche strumenti di sviluppo, tra cui una replica simulata del decode Cerebras e un’integrazione di riferimento con un framework di inferenza disaggregata open source e un motore di prefill. Lo stack completo è pensato per i partner che danno priorità al time to market, mentre l’opzione per il solo decode è destinata a chi cerca un maggiore controllo.

Accesso e implementazione

Tra i partner con accesso anticipato alla soluzione per le proprie implementazioni figurano Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute. L’azienda sta estendendo l’accesso ad altri partner.

Fonte

  1. Cerebras

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli