The Pulse
Together AI amplia la capacità di inferenza su IBM Cloud con le GPU NVIDIA B300
Together AI afferma di essere il primo cliente a utilizzare un cluster dedicato e su larga scala per l’inferenza con GPU NVIDIA B300 su IBM Cloud, che impiega anche la rete NVIDIA Spectrum-X. Nell’annuncio di agosto, IBM aveva descritto un
AI.info Team · Scritto con l’IA ·
Together AI afferma di erogare ogni mese centinaia di migliaia di miliardi di token e ora utilizza un cluster dedicato per l’inferenza con GPU NVIDIA B300 su IBM Cloud. Nell’aggiornamento del 6 ottobre, l’azienda descrive l’installazione come il primo cluster dedicato e su larga scala per l’inferenza di questo tipo su IBM Cloud, di cui Together AI è il primo cliente. IBM fornisce l’infrastruttura cloud, NVIDIA le GPU e la rete, e Together AI la piattaforma di inferenza.
Un accordo da 240 milioni di dollari alla base del cluster B300
L’aggiornamento segue l’annuncio, fatto da IBM l’11 agosto, di un accordo pluriennale da 240 milioni di dollari con Together AI. IBM aveva dichiarato di voler installare su IBM Cloud un grande cluster di sistemi NVIDIA HGX B300, la cui disponibilità era prevista per il primo trimestre del 2027. Together AI avrebbe usato i sistemi per erogare modelli open source.
Quella precedente tabella di marcia si concilia difficilmente con l’affermazione contenuta nel post di ottobre secondo cui Together AI è già «il primo cliente a utilizzarlo». Il nuovo post non indica una data di messa in funzione né spiega come questa circostanza si concili con la previsione di IBM per il primo trimestre del 2027. Non specifica neppure quanti sistemi B300 compongano il cluster. Nel suo comunicato, IBM presenta la disponibilità attesa come una previsione e avverte che le dichiarazioni sui suoi orientamenti e sulle sue intenzioni future potrebbero cambiare o essere ritirate.
Capacità di inferenza per i modelli aperti
Il cluster è progettato per l’inferenza: eseguire modelli già addestrati per generare risposte, anziché addestrarli da zero. Together AI afferma di gestire il livello di inferenza, mentre IBM fornisce il cloud e NVIDIA le GPU B300 e la rete Ethernet Spectrum-X. Le aziende presentano l’accordo come un modo per gestire carichi di lavoro in produzione utilizzando modelli aperti.
Il post di ottobre di Together AI descrive una domanda mensile di centinaia di migliaia di miliardi di token da parte di oltre un milione di sviluppatori. Nell’annuncio di agosto, IBM aveva indicato un dato mensile di 400.000 miliardi di token, una misura specifica dell’utilizzo dichiarata dall’azienda. Nessuno dei due annunci presenta quel dato come un obiettivo di capacità del nuovo cluster.
IBM ha dichiarato che l’accordo mira ad aiutare Together AI a fornire alle imprese servizi di inferenza per modelli aperti e ha descritto il cluster come progettato per gestire carichi di lavoro in produzione in modo rapido ed efficiente. Il comunicato riferiva inoltre che, secondo un confronto effettuato da NVIDIA con le generazioni precedenti, il sistema offre una produzione delle fabbriche di IA 30 volte superiore. Si tratta di un’affermazione attribuita a NVIDIA, non di un benchmark delle prestazioni dell’installazione di Together AI.
Nell’annuncio, IBM collocava l’accordo nel quadro delle attività più ampie di Together AI: riferiva di un round di finanziamento Series C da 800 milioni di dollari, con una valutazione di 8,3 miliardi di dollari, e descriveva la piattaforma dell’azienda come capace di coprire inferenza, addestramento, fine-tuning e flussi di lavoro basati su agenti. IBM ha dichiarato che Together AI ha scelto IBM e NVIDIA per i loro piani di sviluppo dei prodotti e per la capacità di fornire risorse GPU al ritmo richiesto.
Cosa dicono i partner e cosa resta da chiarire
Nell’annuncio di agosto di IBM, l’amministratore delegato di Together AI Vipul Ved Prakash ha descritto il ruolo previsto per la partnership:
«Le imprese vogliono le prestazioni dei migliori modelli di frontiera senza i costi dei modelli chiusi, e questo è possibile solo se l’infrastruttura sottostante è veloce e affidabile anche su larga scala», ha dichiarato Vipul Ved Prakash, amministratore delegato di Together AI. «Lavorare con IBM e NVIDIA ci dà questa base. Questo cluster ci permette di offrire più rapidamente a un maggior numero di aziende servizi di inferenza adatti all’uso in produzione, ed è un grande passo nel nostro impegno per rendere l’IA open source la scelta più ovvia per le imprese».
Il post di ottobre non nomina clienti oltre a Together AI e non fornisce prezzi, benchmark delle prestazioni, numero di GPU o date a partire dalle quali i clienti potranno accedere al cluster. Lascia inoltre senza spiegazione la discrepanza tra la previsione di agosto sulla disponibilità e l’affermazione secondo cui un cliente sta già utilizzando il cluster. Gli annunci identificano i partner, l’hardware e l’impiego previsto, ma non le dimensioni del cluster né quando altri clienti potranno utilizzarlo.