The Pulse
Nvidia rivendica il primato di Vera Rubin nell’inferenza, secondo risultati provvisori di MLPerf
Nvidia afferma che Vera Rubin NVL72 ha raggiunto un throughput per kilowatt di potenza predisposta oltre 10 volte superiore a quello di GB300 NVL72 in un test di inferenza agentica con Kimi K3. I risultati di Vera Rubin sono in attesa di verifica da parte di MLCommons e potrebbero cambiare durante la peer review.

Nvidia afferma che il suo sistema Vera Rubin NVL72 ha raggiunto un throughput per kilowatt di potenza predisposta oltre 10 volte superiore a quello di GB300 NVL72 in un test di inferenza agentica con Kimi K3. Il confronto, pubblicato in un post tecnico di Nvidia il 16 novembre, usa risultati provvisori di MLPerf Endpoints v1.0 e una soglia minima di reattività comune.
Fonte developer.nvidia.com
I risultati di Vera Rubin sono in attesa di verifica da parte di MLCommons e potrebbero cambiare in seguito alla peer review. Nvidia afferma che i risultati di GB300 usati nel confronto sono stati verificati.
Cosa ha misurato il benchmark
MLPerf Endpoints v1.0 valuta la capacità di servizio e la reattività nei flussi di lavoro di programmazione e aziendali, accessibili tramite endpoint API. Durante le prove di prestazione, le chiamate agli strumenti generate e l’intento dei flussi di lavoro vengono confrontati con valori di riferimento.
Una valutazione separata, SWE-bench Verified, misura la capacità di risolvere compiti end-to-end. Nvidia afferma che queste verifiche mirano a stabilire se un servizio più rapido preservi la qualità del modello.
I carichi di lavoro agentici possono mantenere la cronologia delle conversazioni attraverso più turni, insieme a ragionamenti, chiamate agli strumenti e risposte. Il dataset del benchmark include traiettorie di programmazione che accumulano cronologia e flussi di lavoro aziendali che riutilizzano istruzioni, definizioni degli strumenti e regole aziendali.
Il confronto su Kimi
Nel confronto su Kimi K3, il test con Vera Rubin ha usato 32 acceleratori e gestito una concorrenza di 1.024 query, con un throughput del sistema di 41.414,2 token al secondo e un’interattività media end-to-end di 50,4 token al secondo per utente, secondo Nvidia. La potenza al punto operativo era di 100,89 kW.
Il test con GB300 ha usato 48 acceleratori con una concorrenza di 48 query. Ha registrato un throughput del sistema di 2.210,4 token al secondo, un’interattività media end-to-end di 56,2 token al secondo per utente e una potenza al punto operativo di 60 kW.
Il minimo comune per il confronto del throughput per kilowatt era un’interattività media end-to-end di 50 token al secondo per utente. Per questo confronto, Nvidia ha selezionato per ciascuna piattaforma il throughput per kilowatt migliore che rispettasse il minimo indicato; per l’interattività ha usato un confronto separato a parità di concorrenza.
Risultati su più modelli
Nvidia ha confrontato i sistemi anche su DeepSeek-V4.1-Flash e Qwen3.6-35B-A3B. Alle soglie di reattività indicate, riporta un throughput per kilowatt di potenza predisposta da 5 a 10 volte superiore sui tre modelli e un’interattività end-to-end da 3 a 5 volte superiore a parità di concorrenza delle query.
L’azienda ha riportato un rapporto di throughput per kilowatt pari a 9 volte per DeepSeek e a 5 volte per Qwen. A parità di concorrenza, i rispettivi rapporti di interattività erano pari a 5 e 3 volte.
Per Kimi K3, la tabella indica un rapporto di throughput per kilowatt pari a 10 volte e un rapporto di interattività pari a 3 volte. La tabella arrotonda i rapporti come mostrato, mentre il confronto principale su Kimi è descritto come superiore a 10 volte.
Hardware e metodi di serving
Le GPU Rubin combinano memoria HBM4, Tensor Core e NVLink di sesta generazione. Nvidia afferma che questi componenti supportano l’accesso ai pesi dei modelli e allo stato della conversazione, le operazioni matriciali e la comunicazione tra GPU.
Le submission usano anche prefix caching, riutilizzo dello stato e il routing Nvidia Dynamo. Queste tecniche mirano a riutilizzare lo stato delle conversazioni già elaborato e a distribuire le richieste tra i worker, mentre il serving disaggregato consente di configurare in modo indipendente l’elaborazione dei prompt e la generazione dei token.
I modelli hanno architetture diverse e il post descrive tecniche di esecuzione mirate, tra cui kernel specifici per modello, accesso ottimizzato alla memoria e verifica speculativa. Nvidia afferma che questi metodi riducono lo spostamento dei dati e l’overhead di esecuzione.
Fonti
Aziende in questa notizia
Notizie correlate
- CoreWeave comunica i risultati di addestramento dell’IA su più rack con Vera Rubin
- CoreWeave cita uno studio che mostra costi cloud fino al 65% inferiori per GB200 NVL72
- Le partecipazioni di Nvidia in società private raggiungono i 65,5 miliardi di dollari, riferisce TechCrunch
- I desktop Nvidia RTX Spark arrivano sul mercato con fino a 128 GB di memoria
- AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER