The Pulse
NVIDIA pubblica modelli draft per la decodifica di Qwen3.8-27B
NVIDIA ha pubblicato tre modelli draft esterni per la decodifica speculativa con Qwen3.8-27B. Il modello draft più grande ha raggiunto una media di 5,58 token per passaggio del modello target su un benchmark qualitativo, contro i 3,81 della testa MTP integrata nel modello target.

NVIDIA ha pubblicato tre modelli draft esterni progettati per accelerare la generazione di testo con Qwen3.8-27B tramite decodifica speculativa. Il modello draft più grande ha 4,21 miliardi di parametri ed è disponibile su Hugging Face secondo i termini del NVIDIA Open Model Agreement.
Nella valutazione di NVIDIA, quel modello ha restituito una media di 5,58 token per passaggio del modello target sul sottoinsieme qualitativo di SPEED-Bench, contro i 3,81 della testa integrata di Qwen3.8-27B per la previsione di token multipli, o MTP. Il test ha usato una dimensione del blocco draft pari a 16.
Come funziona il modello draft
Il modello draft più grande è basato su Qwen3.5-4B ed è un modello linguistico completo, non una testa draft. Condivide il tokenizer e il vocabolario del modello target e propone blocchi di token candidati che Qwen3.8-27B verifica.
È stato addestrato con NVIDIA Model Optimizer in modalità di decodifica speculativa esterna. Il modello draft campiona candidati secondo la policy di serving del modello target, usando una temperatura di 1,0, top-k pari a 20 e top-p pari a 0,95; il modello target li verifica poi tramite rejection sampling.
Secondo NVIDIA, la sequenza accettata ha esattamente la distribuzione che il modello target avrebbe prodotto da solo. Il testo finale generato proviene da Qwen3.8-27B.
Confronto tra benchmark
Sul sottoinsieme throughput-32k a contesto lungo di SPEED-Bench, il modello draft da 4,21 miliardi di parametri ha raggiunto una media di 5,11 token per passaggio del modello target, contro i 3,86 della testa MTP integrata, secondo la scheda del modello. Anche questa valutazione ha usato una dimensione del blocco draft pari a 16.
Il sottoinsieme qualitativo contiene 1.138 turni di conversazione suddivisi in categorie che includono programmazione, matematica, attività multilingue e scrittura. Il sottoinsieme a contesto lungo contiene 1.536 prompt a turno singolo da 33k a 46k token, ripartiti equamente tra le categorie a bassa entropia, miste e ad alta entropia.
Nello stesso confronto, il modello draft Qwen3.5-0.8B ha 0,75 miliardi di parametri e ha raggiunto una media di 3,92 sul sottoinsieme qualitativo e di 3,60 su throughput-32k. Il modello draft Llama-3.2-1B ha 1,48 miliardi di parametri e ha raggiunto rispettivamente una media di 3,42 e 3,07.
Secondo NVIDIA, tutti e tre i modelli draft esterni sono stati addestrati sullo stesso corpus rispetto allo stesso modello target e valutati con lo stesso harness. I punteggi sono medie tra le categorie, con una dimensione del blocco draft pari a 16.
Addestramento e distribuzione
Il set di addestramento comprendeva 199.998 conversazioni a turno singolo. I prompt provenivano da Nemotron-Post-Training-Dataset-v2, mentre le risposte sono state sintetizzate da Qwen3.8-27B; i prompt sono stati campionati in proporzioni uguali tra nove categorie, tra cui STEM, codice, matematica, chat e cinque lingue.
I prompt più lunghi di 3.072 token sono stati esclusi. La distribuzione degli output top-20 del modello target in ogni posizione della risposta è stata registrata come segnale di addestramento, e il modello draft più grande è stato addestrato con una lunghezza di sequenza di 12.288 token.
La distribuzione prevista per i modelli draft è sull’hardware NVIDIA Groq 3 LPU, per il cui runtime vengono compilati. I checkpoint pubblicati sono modelli standard di Hugging Face e si caricano anche in vLLM, SGLang e TRT-LLM.
Il modello draft più grande è disponibile per usi commerciali o non commerciali secondo i termini del NVIDIA Open Model Agreement. La scheda del modello afferma che i dati di addestramento del suo modello di base contengono linguaggio tossico e pregiudizi sociali e che le risposte generate potrebbero essere inesatte, omettere informazioni o includere testo irrilevante o indesiderato.
Fonte
Notizie correlate
- Unsloth aggiorna i GGUF di Qwen3.8-27B con l’anteprima di Dynamic V3.1
- Meituan afferma che il modello aperto per avatar LongCat genera video di oltre 10 minuti
- Reson8 rilascia un modello open di riconoscimento vocale per oltre 40 lingue
- Alibaba lancia Qwen4-Max con una finestra di contesto da un milione di token
- QwenCloud di Alibaba apre l’accesso a Qwen4-Max-Preview fino al 25 novembre