The Pulse
NVIDIA rilascia i modelli linguistici a diffusione Sigma in due dimensioni
Nemotron-Labs-Sigma genera testo in blocchi denoising rappresentazioni continue dei token. NVIDIA riferisce che nei test su un GB200 il suo modello 8B ha una velocità media di decodifica 3,46 volte superiore.

NVIDIA ha rilasciato una famiglia di modelli linguistici che generano testo in blocchi denoising rappresentazioni continue dei token, in versioni da 3 e 8 miliardi di parametri. Secondo NVIDIA Research, i modelli, chiamati Nemotron-Labs-Sigma, sono progettati per il ragionamento e la programmazione.
MarkTechPost riferisce che la raccolta comprende 14 checkpoint open, tra cui varianti base, ottimizzate per seguire istruzioni, distillate e self-speculative. La scheda del modello base 8B indica come data di rilascio su Hugging Face il 12 novembre 2026.
Generare testo in blocchi
Sigma avvia ogni blocco con rumore gaussiano e denoisa ripetutamente una rappresentazione condizionata dal testo precedente. Una volta perfezionato il blocco, il modello restituisce token discreti e passa a quello successivo.
La rappresentazione usa embedding dei token a 16 dimensioni, appresi insieme alla rete di denoising. L’addestramento parte da pesi autoregressivi preaddestrati e utilizza un backbone condiviso per uno stream autoregressivo che elabora token puliti e uno stream di diffusione che denoisa i loro embedding.
Durante la generazione, il modello può regolare la traiettoria usando la guida senza classificatore e la temperatura dello score. Inoltre, passa la previsione condizionata precedente al passaggio di denoising successivo, una tecnica che il progetto chiama self-conditioning.
Meno passaggi e decodifica speculativa
NVIDIA afferma che i modelli distillati generano otto token per passaggio forward nei compiti matematici e quattro in quelli di programmazione, con una perdita di accuratezza trascurabile e la diversità preservata. Il matching delle distribuzioni viene usato per distillare il modello e generare testo con meno passaggi di denoising.
Con un metodo distinto, il modello di diffusione distillato prepara blocchi che il proprio stream autoregressivo verifica. NVIDIA afferma che questa decodifica self-speculative riproduce l’output greedy del modello autoregressivo.
Su un NVIDIA GB200, il modello 8B ha raggiunto un’accelerazione media del throughput di 3,46 volte rispetto alla sua decodifica autoregressiva, secondo il progetto di ricerca. Questa cifra si riferisce al metodo self-speculative testato, non a un’accelerazione generale per ogni uso di Sigma.
Risultati e disponibilità
Nelle valutazioni di NVIDIA, il modello base 8B ha ottenuto una media di 71,16 sulla suite di sei task di NVIDIA, superando il 70,22 di NLD-8B, riferisce MarkTechPost. La stessa testata afferma che Sigma-8B ha ottenuto 65,12 su HumanEval, contro 62,80 del modello di confronto, ma ha totalizzato 65,74 su MBPP, contro 67,00.
Il contesto massimo del modello base 8B è di 4.096 token, compresi il prompt e il testo generato. La scheda del modello descrive la versione base come punto di partenza per la ricerca e il fine-tuning, non come assistente progettato per seguire istruzioni; è disponibile una corrispondente variante instruct.
Il modello base 8B funziona su una GPU NVIDIA compatibile con CUDA usando bfloat16, mentre l’inferenza su CPU non è supportata. Il suo utilizzo è regolato dalla NVIDIA Nemotron Open Model License e la scheda del modello afferma che è pronto per un uso commerciale o non commerciale.
Fonti
- Fonte originale NVIDIA Research research.nvidia.com
Altre pagine lette
- NVIDIA on Hugging Face huggingface.co
- MarkTechPost marktechpost.com
Aziende in questa notizia
Notizie correlate
- NVIDIA illustra un flusso di lavoro basato su due prompt per addestrare l’IA fisica con dati
- NVIDIA pubblica modelli draft per la decodifica di Qwen3.8-27B
- METR rileva che, nei suoi compiti di coding, i modelli di IA di solito eguagliano o superano gli esseri umani esperti, con orizzonti temporali che raddoppiano ogni 3,6 mesi
- OpenAI afferma che gli agenti hanno completato il 46% delle attività delegate che richiedevano da due a quattro ore
- NVIDIA illustra i compromessi dell’attenzione sparsa per l’IA con contesti lunghi