The Pulse
La release RC3 di vLLM include Reflection Beam-1.0 e Muse Spark Open
La release v0.33.0rc3 include il supporto per Reflection Beam-1.0, Muse Spark Open e altri modelli, insieme a modifiche ai requisiti di CUDA, ROCm e PyTorch. GitHub intitola la pagina v0.33.0 e la contrassegna come «Più recente», mentre il
AI.info Team · Scritto con l’IA · verificato ·
La terza release candidate di vLLM per la versione 0.33.0 aggiunge il supporto per Reflection Beam-1.0, Muse Spark Open e diversi altri modelli appena inseriti nell’elenco. Il progetto ha pubblicato la versione candidata il 2 novembre, insieme a modifiche ai requisiti di PyTorch e CUDA. Le note di rilascio descrivono un ampio aggiornamento software: 927 commit da 389 contributori, tra cui 122 nuovi contributori.
I modelli aggiunti si distinguono per la loro varietà, dai grandi sistemi mixture-of-experts a un modello per il recupero di documenti visivi. La pagina della release è intitolata v0.33.0 e contrassegnata da GitHub come «Più recente», ma il tag la identifica come v0.33.0rc3. Il titolo e il contrassegno della pagina non modificano il suffisso che identifica la versione candidata nel tag. Le note forniscono dettagli sui modelli e sui backend, lasciando agli utenti il compito di verificare le proprie esigenze hardware e di deployment prima di effettuare l’aggiornamento.
Beam-1.0 porta un modello da 501 miliardi di parametri
Reflection Beam-1.0 è il modello più grande specificato nell’elenco di quelli ora supportati: un modello mixture-of-experts da 501 miliardi di parametri, di cui 23 miliardi attivi. vLLM indica il supporto sin dal primo giorno per il modello, per il suo drafter DFlash2 per la decodifica speculativa e per i kernel fusi destinati alle GPU NVIDIA Blackwell. La release aggiunge anche parser per il ragionamento e l’uso di strumenti per Beam.
La versione candidata include Yandex AliceAI-Foundation-80B-A3B, descritto come un modello ibrido con Kimi Delta Attention, 512 esperti e una finestra di contesto da 262.000 token. Recursive Flint aggiunge il supporto per checkpoint GGUF in BF16 e NVFP4; la configurazione indicata ha 40 miliardi di parametri totali, di cui 2,5 miliardi attivi. Le note citano anche Muse Spark Open e Step-5 Preview, tra gli altri modelli aggiunti.
Il supporto va oltre la generazione di testo
L’elenco comprende NVIDIA Alpamayo 2 Super, Nemotron-Labs Dory1.0-4B, Nemotron Parse 3.5, MiniCPM-OCR 1.0, Domyn Edge e ColUltraVBERT, un modello per il recupero di documenti visivi. vLLM afferma che LFM2.5-Embedding-350M ora usa la sua implementazione Lfm2BidirectionalModel, mentre Kolibri 1 viene eseguito tramite il backend di modellazione Transformers. I modelli Decision 3.0 e Cloudflare Clef-Flash sono indicati per l’endpoint /v1/systemone del progetto.
Questa combinazione rende l’aggiornamento rilevante per i team che mettono a disposizione più dei soli modelli di chat: copre anche embedding, retrieval, elaborazione di immagini di documenti e compiti decisionali strutturati. Le note indicano l’aggiunta del supporto nel motore, ma non sostengono che ogni modello funzioni su ogni dispositivo o configurazione. Gli operatori dovranno comunque verificare che i requisiti dei modelli siano compatibili con le loro GPU e il loro stack software.
Gli utenti di CUDA 12.9 devono scegliere se aggiornare
vLLM 0.33.0 passa a CUDA 13.0 per i suoi wheel e le sue immagini CUDA e abbandona i pacchetti CUDA 12.9. Le note di rilascio indicano ROCm 10.0 come opzione ROCm predefinita, pur continuando a pubblicare pacchetti ROCm 7.2. Annunciano inoltre un wheel CUDA con un’ABI libtorch stabile e una nuova immagine AWS EFA per l’erogazione su più nodi nelle istanze EC2 idonee.
Il progetto passa a PyTorch 2.14.0, torchvision 0.29.0 e Triton 3.8.0. Per gli utenti che valutano RC3, questi cambiamenti nell’ambiente di esecuzione si affiancano alle nuove implementazioni dei modelli: l’adozione dipende non solo dalla scelta di un modello supportato, ma anche dalla verifica della compatibilità con CUDA o ROCm e delle eventuali modifiche indicate nelle note di rilascio. Gli artefatti CUDA della versione candidata sono destinati alla versione 13.0, non alla 12.9.