Vai al contenuto
AI.info

The Pulse

NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training

NVIDIA afferma che, nell’ultimo round di MLPerf, Vera Rubin NVL72 ha raggiunto prestazioni di training per GPU fino al doppio rispetto al suo sistema GB300. Un confronto separato sull’inferenza agentica ha mostrato un throughput per watt superiore di oltre 10 volte, ma il risultato di Vera Rubin resta provvisorio.

NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training

Vera Rubin NVL72 ha raggiunto prestazioni di training per GPU fino al doppio rispetto al sistema GB300 NVL72 di NVIDIA nel suo primo round di MLPerf Training, ha dichiarato la società. NVIDIA ha inoltre riferito che, in un confronto separato sull’inferenza agentica, Vera Rubin ha ottenuto un throughput per watt superiore di oltre 10 volte, anche se il risultato è provvisorio.

I risultati di MLPerf Training sono stati pubblicati il 16 novembre; quelli di MLPerf Endpoints citati da NVIDIA, che mettono alla prova i sistemi su attività di coding agentico e flussi di lavoro aziendali, sono stati pubblicati il 9 novembre. Misurano tipi di lavoro diversi: addestrare un modello fino a raggiungere un’accuratezza obiettivo ed eseguire un sistema di IA per produrre risposte.

Training su scala più ampia

L’ultima suite MLPerf Training comprende modelli linguistici di grandi dimensioni, generazione di immagini, sistemi di raccomandazione e post-training per l’apprendimento per rinforzo. La società ha dichiarato che la sua piattaforma è stata l’unica a presentare risultati su tutti i benchmark del round.

Per il benchmark di training DeepSeek-V3, NVIDIA ha riferito che Vera Rubin NVL72 è passata da 256 a 1.024 GPU mantenendo un’efficienza di circa il 97%. Quadruplicare il numero di GPU ha ridotto il tempo di training da 16 minuti a circa quattro minuti.

NVIDIA ha eseguito il benchmark anche su 10.240 GPU con sistemi GB300, che, secondo la società, hanno raggiunto la scala più ampia del round. Microsoft Azure ha presentato un’esecuzione alla stessa scala, utilizzando 10.240 GPU NVIDIA in sistemi GB200.

MLPerf Training misura il tempo necessario per addestrare un modello su un dataset specificato fino a raggiungere un obiettivo di qualità. MLCommons afferma che ripete le esecuzioni, scarta i risultati più alti e più bassi e calcola la media dei rimanenti; le sue linee guida pubblicate indicano una variazione dei risultati di circa più o meno il 2,5% per i benchmark di imaging e di circa più o meno il 5% per gli altri benchmark.

Un confronto provvisorio sull’inferenza

Il confronto su Kimi K3 ha misurato il throughput per kilowatt a una soglia minima condivisa di interattività media end-to-end di 50 token al secondo per utente. L’esecuzione provvisoria di Vera Rubin ha utilizzato 32 acceleratori, raggiunto un throughput di sistema di 41.414,2 token al secondo e registrato una potenza operativa di 100,89 kW.

L’esecuzione su GB300 ha utilizzato 48 acceleratori, raggiunto 2.210,4 token al secondo e registrato una potenza operativa di 60 kW. NVIDIA ha dichiarato che il risultato di GB300 era stato verificato da MLCommons, mentre quello di Vera Rubin era in attesa di verifica e poteva cambiare dopo la revisione tra pari.

MLCommons definisce il throughput di sistema come il totale dei token prodotti al secondo tra gli utenti, mentre l’interattività misura la velocità con cui una risposta viene trasmessa a ciascun utente. I risultati di Endpoints rilevano anche le query simultanee e il tempo al primo token e possono essere normalizzati in base al consumo energetico.

Altri risultati presentati

NVIDIA ha dichiarato che nel round di training 20 organizzazioni hanno presentato risultati utilizzando la sua piattaforma, tra cui ASUS, Azure, Cisco, CoreWeave, Dell Technologies, Google Cloud, HPE, Oracle e la University of Florida.

Vera Rubin era già comparsa in una diversa suite MLPerf prima di questo round di training. A settembre, NVIDIA aveva pubblicato risultati preliminari per MLPerf Inference relativi ai benchmark DeepSeek-R1 e Qwen3-VL.

Fonti

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli