Vai al contenuto
AI.info

The Pulse

CoreWeave cita uno studio che mostra costi cloud fino al 65% inferiori per GB200 NVL72

Un’analisi di Signal65 ha modellato una distribuzione di 5.000 GPU su tre anni, confrontandola con i cloud di tre hyperscaler non nominati. CoreWeave afferma che lo studio ha rilevato anche un costo per token inferiore, tenendo conto del throughput di inferenza.

CoreWeave cita uno studio che mostra costi cloud fino al 65% inferiori per GB200 NVL72

CoreWeave afferma che una distribuzione modellata di sistemi Nvidia GB200 NVL72 con 5.000 GPU è costata fino al 65% in meno sul suo cloud rispetto ai cloud di tre hyperscaler non nominati, nell’arco di tre anni. L’azienda ha messo in evidenza i risultati di un’analisi condotta da Mitch Lewis, analista delle prestazioni di Signal65, in un post del 16 novembre.

L’analisi di Signal65 ha utilizzato prezzi pubblici on-demand, risultati di throughput di MLPerf Inference v6.0 e tariffe pubblicate per i token serverless. Nelle sette configurazioni esaminate, CoreWeave ha registrato il costo totale di proprietà più basso in sei casi.

Cosa ha misurato il confronto tra cloud

Per i sistemi Nvidia GB200 NVL72, il confronto con i costi più elevati riguardava un provider non nominato, indicato come Hyperscaler C, la cui spesa prevista su tre anni era di 3,9 miliardi di dollari, secondo CoreWeave. Una distribuzione identica su CoreWeave è stata modellata con un costo inferiore del 65%.

Il costo modellato di CoreWeave era inferiore anche del 36% rispetto a quello di Hyperscaler A e del 22% rispetto a quello di Hyperscaler B. Il confronto con Hyperscaler B si basava su una tariffa stimata, perché quel provider non pubblica i prezzi di GB200 NVL72.

Il modello esclude i costi di archiviazione per operazione e le penali per cancellazione anticipata sui livelli di archiviazione per l’archivio, afferma CoreWeave. L’azienda dichiara di non applicare nessuno dei due costi e che, nella pratica, il divario potrebbe essere più ampio di quanto indicato dai dati modellati.

Lo studio ha rilevato differenze di costo anche per altri sistemi Blackwell. Signal65 ha calcolato costi inferiori fino al 41% per Nvidia HGX B200 e fino al 52% per Nvidia HGX B300 nell’arco di tre anni.

Throughput e costi dei token

Per calcolare i costi di inferenza, l’analisi ha combinato i costi dei cluster con i risultati di MLPerf Inference v6.0 per DeepSeek-R1, un modello di ragionamento con 671 miliardi di parametri. CoreWeave afferma che il suo sistema ha raggiunto 4.867 token al secondo per GPU eseguendo il modello su GB200 NVL72.

Il costo modellato risultante era di 0,75 dollari per milione di token su CoreWeave, rispetto a una cifra compresa tra 1,23 e 2,22 dollari sugli hyperscaler, secondo il post dell’azienda. Rispetto all’hyperscaler con i prezzi più competitivi, Signal65 ha calcolato che il vantaggio di costo passava dal 22%, considerando solo i prezzi dell’infrastruttura, al 65% includendo le prestazioni.

L’analisi traduce questi costi in una stima dei token acquistabili con un impegno annuale fisso. CoreWeave afferma che 1 milione di dollari permetterebbe di acquistare circa 1.330 miliardi di token sul suo cloud, rispetto ai 451-814 miliardi offerti dagli altri provider.

Prezzi dei modelli ospitati

Lo studio ha confrontato separatamente l’inferenza serverless, in cui i clienti accedono ai modelli ospitati tramite un’API invece di gestire l’infrastruttura. Per gpt-oss-120b, l’unico modello disponibile su tutti i cloud inclusi nello studio, CoreWeave afferma che i token in ingresso costano dal 67% all’80% in meno e quelli in uscita dal 53% al 72% in meno.

Tra i 17 modelli per i quali era possibile un confronto diretto con gli hyperscaler, il servizio serverless di CoreWeave aveva prezzi inferiori per 11 modelli e identici per quattro, secondo Signal65. In questi confronti, i costi mediani dei token in ingresso erano inferiori del 26% e quelli dei token in uscita del 15%.

CoreWeave cita anche i suoi server bare-metal, la rete e l’archiviazione tra gli elementi dell’infrastruttura alla base dei risultati. Il suo Local Object Transport Accelerator funziona come proxy di caching sui nodi GPU di un cluster CoreWeave Kubernetes Service e, secondo l’azienda, lo studio ha rilevato che i suoi costi di archiviazione erano inferiori dal 28% al 55% rispetto a quelli degli hyperscaler.

Fonti

  1. CoreWeave
  2. Signal65

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli