The Pulse
vLLM 0.33 abbandona le build CUDA 12.9
vLLM 0.33.0, rilasciato il 2 novembre, elimina i wheel e le immagini container per CUDA 12.9, lasciando CUDA 13.0 come unica build CUDA pubblicata dal progetto per questa release. L’aggiornamento porta inoltre vLLM a PyTorch 2.14 e aggiunge
AI.info Team · Scritto con l’IA · verificato ·
La release 0.33.0 di vLLM, pubblicata il 2 novembre, mette fine alle build del progetto per CUDA 12.9: i suoi wheel NVIDIA e le immagini container sono ora destinati esclusivamente a CUDA 13.0. La modifica rende CUDA 13 l’unica opzione CUDA nella nuova release, ma non lo rende obbligatorio per ogni modalità di esecuzione di vLLM. Il progetto continua a pubblicare build per sistemi AMD ROCm, Intel XPU e CPU.
CUDA 13 era già l’opzione predefinita
Il cambiamento consiste in una rimozione, non in una prima adozione. vLLM 0.32.0, rilasciato prima della 0.33.0, offriva già CUDA 13.0 come opzione predefinita, mantenendo però wheel e immagini Docker separati per CUDA 12.9. La versione 0.33.0 elimina queste alternative, compresi i tag delle immagini per CUDA 12.9 e per CUDA 12.9 con Ubuntu 24.04.
Per gli utenti dei pacchetti CUDA pubblicati, il cambiamento pratico è semplice: l’installazione standard di v0.33.0 per Python, pip install vllm, usa la build CUDA 13.0, così come l’immagine Docker predefinita, vllm/vllm-openai:v0.33.0. La release offre anche wheel CUDA 13.0 per x86_64 e Arm64. I team che hanno bisogno degli artefatti CUDA 12.9 del progetto non possono selezionarli dalla release v0.33.0.
PyTorch 2.14 si unisce al passaggio a CUDA 13
La release aggiorna vLLM a PyTorch 2.14.0, insieme a torchvision 0.29.0 e Triton 3.8.0. Descrive inoltre il wheel CUDA come stabile a livello ABI rispetto a libtorch, una modifica all’interfaccia di compatibilità tra il wheel e le librerie C++ di PyTorch. Nel loro insieme, queste modifiche rendono la release un aggiornamento sostanziale dello stack software, anziché un semplice cambio di tag del container.
CUDA 13.0 non è l’unica piattaforma presente nella release. vLLM indica ROCm 10.0 come opzione predefinita per le build AMD, continuando a pubblicare artefatti ROCm 7.2; restano disponibili anche le build per CPU e XPU. La release restringe quindi le opzioni CUDA supportate e pubblicate, senza eliminare le modalità di distribuzione di vLLM non basate su CUDA.
Più di una modifica al packaging
Il progetto afferma che v0.33.0 contiene 927 commit di 389 contributori, tra cui 122 nuovi contributori. Tra le novità principali figurano il supporto a nuovi modelli come Reflection Beam-1.0, Yandex AliceAI-Foundation-80B-A3B e Muse Spark Open, insieme a modifiche alla decodifica speculativa e al serving. È disponibile anche un’immagine container AWS EFA per sistemi x86_64 e Arm64.
Alcuni dati sulle prestazioni riportati nelle note sono legati a hardware e benchmark specifici, non sono promesse generali. Per esempio, il progetto riferisce che una modifica alla gestione degli slot draft di DFlash e DSpark ha aumentato l’output da 1.373 a 3.390 token al secondo in un benchmark che utilizzava DeepSeek-V4.1-Flash con DSpark su GB300. Una tecnica distinta, FLy, da attivare su scelta dell’utente, è indicata con incrementi del throughput in fase di decodifica da 1,04 a 1,31 volte su MI355X e B300.
Il confine della compatibilità è ora esplicito
CUDA 13.0 era già diventato la build CUDA predefinita di vLLM nella versione 0.32.0; v0.33.0 lo rende l’unica versione CUDA per cui il progetto pubblica wheel e immagini della release. Questa distinzione è importante per gli operatori che pianificano gli aggiornamenti: la release mantiene diverse piattaforme hardware, ma non la precedente possibilità di usare pacchetti CUDA 12.9. Il confine concreto della release è rappresentato dall’elenco degli artefatti: CUDA 13.0 per NVIDIA, con i pacchetti ROCm, XPU e CPU ancora elencati separatamente.