Vai al contenuto
AI.info

The Pulse

Nvidia rivendica il primato di Vera Rubin nell’inferenza, secondo risultati provvisori di MLPerf

Nvidia afferma che Vera Rubin NVL72 ha raggiunto un throughput per kilowatt di potenza predisposta oltre 10 volte superiore a quello di GB300 NVL72 in un test di inferenza agentica con Kimi K3. I risultati di Vera Rubin sono in attesa di verifica da parte di MLCommons e potrebbero cambiare durante la peer review.

Nvidia rivendica il primato di Vera Rubin nell’inferenza, secondo risultati provvisori di MLPerf

Nvidia afferma che il suo sistema Vera Rubin NVL72 ha raggiunto un throughput per kilowatt di potenza predisposta oltre 10 volte superiore a quello di GB300 NVL72 in un test di inferenza agentica con Kimi K3. Il confronto, pubblicato in un post tecnico di Nvidia il 16 novembre, usa risultati provvisori di MLPerf Endpoints v1.0 e una soglia minima di reattività comune.

Fonte developer.nvidia.com

I risultati di Vera Rubin sono in attesa di verifica da parte di MLCommons e potrebbero cambiare in seguito alla peer review. Nvidia afferma che i risultati di GB300 usati nel confronto sono stati verificati.

Cosa ha misurato il benchmark

MLPerf Endpoints v1.0 valuta la capacità di servizio e la reattività nei flussi di lavoro di programmazione e aziendali, accessibili tramite endpoint API. Durante le prove di prestazione, le chiamate agli strumenti generate e l’intento dei flussi di lavoro vengono confrontati con valori di riferimento.

Una valutazione separata, SWE-bench Verified, misura la capacità di risolvere compiti end-to-end. Nvidia afferma che queste verifiche mirano a stabilire se un servizio più rapido preservi la qualità del modello.

I carichi di lavoro agentici possono mantenere la cronologia delle conversazioni attraverso più turni, insieme a ragionamenti, chiamate agli strumenti e risposte. Il dataset del benchmark include traiettorie di programmazione che accumulano cronologia e flussi di lavoro aziendali che riutilizzano istruzioni, definizioni degli strumenti e regole aziendali.

Il confronto su Kimi

Nel confronto su Kimi K3, il test con Vera Rubin ha usato 32 acceleratori e gestito una concorrenza di 1.024 query, con un throughput del sistema di 41.414,2 token al secondo e un’interattività media end-to-end di 50,4 token al secondo per utente, secondo Nvidia. La potenza al punto operativo era di 100,89 kW.

Il test con GB300 ha usato 48 acceleratori con una concorrenza di 48 query. Ha registrato un throughput del sistema di 2.210,4 token al secondo, un’interattività media end-to-end di 56,2 token al secondo per utente e una potenza al punto operativo di 60 kW.

Il minimo comune per il confronto del throughput per kilowatt era un’interattività media end-to-end di 50 token al secondo per utente. Per questo confronto, Nvidia ha selezionato per ciascuna piattaforma il throughput per kilowatt migliore che rispettasse il minimo indicato; per l’interattività ha usato un confronto separato a parità di concorrenza.

Risultati su più modelli

Nvidia ha confrontato i sistemi anche su DeepSeek-V4.1-Flash e Qwen3.6-35B-A3B. Alle soglie di reattività indicate, riporta un throughput per kilowatt di potenza predisposta da 5 a 10 volte superiore sui tre modelli e un’interattività end-to-end da 3 a 5 volte superiore a parità di concorrenza delle query.

L’azienda ha riportato un rapporto di throughput per kilowatt pari a 9 volte per DeepSeek e a 5 volte per Qwen. A parità di concorrenza, i rispettivi rapporti di interattività erano pari a 5 e 3 volte.

Per Kimi K3, la tabella indica un rapporto di throughput per kilowatt pari a 10 volte e un rapporto di interattività pari a 3 volte. La tabella arrotonda i rapporti come mostrato, mentre il confronto principale su Kimi è descritto come superiore a 10 volte.

Hardware e metodi di serving

Le GPU Rubin combinano memoria HBM4, Tensor Core e NVLink di sesta generazione. Nvidia afferma che questi componenti supportano l’accesso ai pesi dei modelli e allo stato della conversazione, le operazioni matriciali e la comunicazione tra GPU.

Le submission usano anche prefix caching, riutilizzo dello stato e il routing Nvidia Dynamo. Queste tecniche mirano a riutilizzare lo stato delle conversazioni già elaborato e a distribuire le richieste tra i worker, mentre il serving disaggregato consente di configurare in modo indipendente l’elaborazione dei prompt e la generazione dei token.

I modelli hanno architetture diverse e il post descrive tecniche di esecuzione mirate, tra cui kernel specifici per modello, accesso ottimizzato alla memoria e verifica speculativa. Nvidia afferma che questi metodi riducono lo spostamento dei dati e l’overhead di esecuzione.

Fonti

  1. NVIDIA Technical Blog
  2. MLCommons

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli