The Pulse
CUDA 13.5 porta Vera Rubin alla disponibilità generale
NVIDIA CUDA Toolkit 13.5 introduce il supporto a disponibilità generale per Vera Rubin, pronto per l’utilizzo in produzione aziendale. La versione aggiunge controlli per la pianificazione delle GPU, funzionalità di CUDA Tile e aggiornamenti
AI.info Team · Scritto con l’IA · verificato ·
NVIDIA afferma che CUDA Toolkit 13.5 introduce il supporto a disponibilità generale per l’architettura GPU Vera Rubin, facendola passare dall’accesso anticipato per gli sviluppatori all’utilizzo in produzione aziendale. La versione estende inoltre il supporto di Windows on Arm a NVIDIA DGX Station for Windows. CUDA 13.5 aggiunge nuovi controlli per la pianificazione delle GPU, insieme a modifiche a librerie, compilatori, CUDA Tile e strumenti per sviluppatori.
Il supporto per Vera Rubin raggiunge la disponibilità generale
CUDA 13.5 supporta Windows Driver Display Model (WDDM) e Microsoft Compute Driver Model (MCDM) sull’architettura Rubin. MCDM offre un modello di driver dedicato esclusivamente al calcolo, mentre Tesla Compute Cluster (TCC) non è supportato su Rubin e sulle GPU successive. NVIDIA afferma che le applicazioni e gli strumenti di distribuzione che presuppongono l’uso di TCC dovrebbero utilizzare WDDM o MCDM per il sistema di destinazione.
Domini di località e MPS ampliano le opzioni di pianificazione
Le applicazioni possono scegliere tra partizioni uniformi di streaming multiprocessor (SM) distribuite tra i domini di località e partizioni che includono tutti gli SM disponibili. Il nuovo flag cudaDevSmResourceGroupLocalityDomainSupplementalSms, utilizzato insieme a cudaDevSmResourceGroupLocalityDomainId, include SM aggiuntivi nei domini selezionati. Le applicazioni possono utilizzare la modalità di rilevamento in cudaDevSmResourceSplit() per ottenere il numero di SM di ciascuna partizione e distribuire il lavoro di conseguenza.
NVIDIA Multi-Process Service (MPS) v3 aggiunge la suddivisione ponderata del tempo, che consente agli operatori di impostare un intervallo di tempo di base e modificarne la durata per ciascun server MPS. Il bilanciamento del carico delle partizioni SM consente ai carichi di lavoro di prendere in prestito capacità oltre la propria partizione di base quando sono disponibili risorse, mentre le partizioni possono prestare SM quando non hanno client collegati. MPS recupera le risorse prese in prestito prima di riassegnarle e le applicazioni continuano a vedere una dimensione stabile della partizione di base.
MPS v3 supporta anche l’instradamento basato su cgroup: un sottoalbero di cgroup v2 può essere associato a un namespace MPS, instradando i client che si connettono attraverso il socket principale del demone. Le assegnazioni delle partizioni SM per namespace applicano una partizione selezionata a ogni client instradato verso quel namespace. Per la contabilizzazione della memoria, MPS può verificare periodicamente l’utilizzo corrente e i limiti quando decide se rimuovere risorse, qualora le notifiche sulle soglie di cgroup siano assenti o inaffidabili.
CUDA Tile porta la comunicazione all’interno dei kernel
CUDA 13.5 aggiunge la comunicazione multi-GPU direttamente all’interno dei kernel CUDA Tile. I puntatori unicast consentono a un kernel di accedere alla memoria di un’altra GPU connessa tramite NVLink; i puntatori multicast e le operazioni multimem supportano riduzioni e operazioni di scrittura su più GPU nelle reti NVIDIA NVSwitch con supporto NVIDIA NVLink SHARP. Le applicazioni predispongono le mappature della memoria condivisa prima dell’avvio, quindi combinano comunicazione e calcolo all’interno del kernel.
Un’anteprima pubblica consente inoltre ai kernel CUDA Tile di chiamare funzioni device dalle librerie SIMT. Le librerie supportate includono NVIDIA NVSHMEM, NVIDIA CCCL Coop, NVIDIA Warp e NVIDIA MathDx, che comprende cuFFTDx, cuBLASDx, cuSolverDx e nvCOMPDx. In questa anteprima, l’interoperabilità Tile-SIMT copre le funzioni delle librerie; la possibilità di chiamare dal codice Tile le funzioni __device__ degli sviluppatori stessi è prevista per una versione futura.
Gli aggiornamenti di Python e CCCL puntano al riutilizzo delle operazioni su GPU
La libreria principale di CUDA Python cuda.core 1.2 aggiunge copie di memoria in batch tramite copy_batch(), Programmatic Dependent Launch tramite LaunchConfig, una compilazione a runtime più semplice e aggiornamenti più flessibili dei CUDA Graph. Sulle GPU con compute capability 9.0 o successiva, i kernel che cooperano possono sovrapporre la propria esecuzione all’interno dello stesso stream CUDA tramite Programmatic Dependent Launch. Le applicazioni possono aggiornare i nodi dei grafi eseguibili supportati, inclusi i parametri dei kernel e le copie di memoria, senza creare una nuova istanza del grafo.
CUDA Toolkit 13.5 include CCCL 3.5, che aggiunge criteri pubblici di ottimizzazione per gli algoritmi CUB che operano sull’intero dispositivo. La versione aggiunge anche cub::DeviceBatchedTopK, che seleziona in modo indipendente i K elementi più piccoli o più grandi nei diversi segmenti e supporta chiavi o coppie chiave-valore, dimensioni variabili dei segmenti e valori di K diversi per ciascun segmento. NVIDIA afferma che il Top-K in batch di CUB è integrato in FlashInfer, una libreria di kernel GPU per l’inferenza degli LLM.
cub::DeviceScan aggiunge la riproducibilità tra esecuzioni per la somma in virgola mobile, producendo risultati ripetibili sulla stessa GPU con gli stessi dati di input e la stessa configurazione di compilazione. Le riduzioni CUB possono anche utilizzare un conteggio degli elementi memorizzato nella memoria accessibile dal dispositivo tramite cuda::args::deferred. NVIDIA afferma che questo consente a una riduzione di utilizzare un conteggio prodotto da un’operazione precedente senza trasferirlo all’host.
Modifiche al profiling e alle librerie matematiche
CUDA Toolkit 13.5 introduce un’anteprima pubblica di NVIDIA Nsight Perf SDK for AI, che conserva metriche selezionate sulle prestazioni di GPU e CPU e il contesto di esecuzione dei carichi di lavoro di addestramento e inferenza di lunga durata. Gli sviluppatori possono esplorare i dati raccolti in Perfetto. NVIDIA Nsight Compute 2026.4 aggiunge una pagina con una timeline per i dati di profiling risolti nel tempo, con le statistiche delle funzioni disponibili nella stessa vista.
CUDA-GDB può interrompere l’esecuzione in corrispondenza degli eventi di log di CUDA Driver, con regole per filtrare gli eventi per thread, gravità o schema del messaggio. CUDA 13.5 supporta inoltre la generazione di core dump della GPU mentre il tracciamento CUPTI è attivo. Per Vera Rubin, NVIDIA afferma che le euristiche aggiornate di cuBLAS e l’ottimizzazione dei kernel migliorano le prestazioni della moltiplicazione di matrici NVFP4 e MXFP8 già nella configurazione predefinita, incluse le configurazioni dimensionali per l’addestramento di LLM mixture-of-experts.