The Pulse
Gimlet e Cerebras puntano a 3.000 token al secondo
Gimlet Labs e Cerebras intendono combinare sistemi wafer-scale e GPU in Gimlet Cloud, puntando a velocità di inferenza dell’IA fino a 3.000 token al secondo. Le aziende affermano che il loro primo data center congiunto dovrebbe entrare in f
AI.info Team · Scritto con l’IA ·
Un obiettivo di 3.000 token al secondo, non un benchmark pubblicato
Gimlet Labs e Cerebras affermano che il loro cloud per l’inferenza, ancora in fase di progettazione, potrebbe raggiungere i 3.000 token al secondo. La cifra è un obiettivo per applicazioni agentiche e in tempo reale particolarmente esigenti, non un risultato ottenuto in un benchmark di cui siano stati resi noti i dettagli: le aziende non hanno specificato il modello, le condizioni del test o il numero di utenti simultanei a cui si riferisce.
L’annuncio del 28 settembre prevede di abbinare i sistemi wafer-scale di Cerebras alle GPU e al software di Gimlet, che assegna diverse parti dell’inferenza del modello a hardware differenti. Le aziende affermano che il loro primo data center basato su sistemi Cerebras dovrebbe entrare in funzione più avanti nel 2026. Sia la tempistica sia la velocità restano obiettivi, non prestazioni già offerte ai clienti.
«La velocità di inferenza conta. Determina quanto può essere produttiva l’IA.»
Zain Asgar, cofondatore e amministratore delegato di Gimlet Labs
Gimlet assegna le diverse fasi dell’inferenza a chip differenti
Il sistema proposto non è un cloud basato soltanto su Cerebras. Gimlet descrive un’architettura che combina i sistemi Cerebras Wafer Scale Engine con le GPU, indirizzando fasi come il prefill, la generazione di token e l’attention verso l’hardware che ritiene più adatto a ciascuna.
Questa suddivisione riflette una tensione di fondo nell’infrastruttura per l’inferenza: un data center può massimizzare la produttività complessiva mentre il singolo utente continua ad aspettare i token. L’obiettivo dichiarato di Gimlet è migliorare la reattività senza rinunciare all’efficienza del sistema. L’azienda afferma che il suo software di orchestrazione offrirà agli sviluppatori un’API standard per l’inferenza, anche quando l’elaborazione sarà distribuita tra chip differenti.
Gimlet afferma che la collaborazione si basa sul lavoro con i clienti in corso dall’anno scorso e su un sistema integrato che già gestisce traffico di inferenza in installazioni private. Afferma inoltre che sarà un partner di lancio per i sistemi Cerebras CS-4, ai quali i clienti di Gimlet Cloud dovrebbero poter accedere nel 2027.
Reuters riferisce di un piano di fornitura da 100 megawatt
Reuters ha riferito il 28 settembre che le aziende prevedono una capacità basata su sistemi Cerebras di circa 100 megawatt. Cerebras prevede di fornire i sistemi CS-4 nell’arco di uno o due anni, ha riferito Reuters, mentre Gimlet intende rendere disponibile l’hardware tramite il proprio cloud nel 2027.
Le aziende non hanno reso noti i termini finanziari. Reuters ha riferito che Gimlet si occuperà della manutenzione e della gestione dei sistemi dopo la consegna: il funzionamento quotidiano dell’installazione spetterà quindi al fornitore del cloud, anziché a quello dei chip.
Andrew Feldman, amministratore delegato di Cerebras, ha descritto l’installazione come «un’ulteriore conferma da parte di Cerebras... di quanto sia facile installarlo, anche in ambienti eterogenei», in dichiarazioni a Reuters. L’accordo mette alla prova la possibilità di installare sistemi wafer-scale accanto all’hardware di altri fornitori e di gestirli nell’ambito di un unico servizio cloud.
La disponibilità determinerà cosa significa la velocità annunciata
Per gli sviluppatori, la questione pratica non è soltanto se un sistema possa generare token rapidamente, ma quale velocità riesca a mantenere per un determinato modello e carico di lavoro man mano che aumenta il numero di clienti che lo utilizzano. L’annuncio indica un obiettivo di velocità generale e una tempistica prevista per il data center, ma non fornisce prezzi, un piano di distribuzione della capacità cliente per cliente né dettagli sui benchmark con cui valutare quelle prestazioni.
Le prossime tappe concrete sono la prevista entrata in funzione del primo data center più avanti nel 2026 e l’accesso programmato ai sistemi CS-4 nel 2027. Finché Gimlet non pubblicherà risultati operativi e condizioni del servizio, i 3.000 token al secondo descrivono l’ambizione delle aziende, non un livello di servizio generalmente disponibile.