The Pulse
NVIDIA veröffentlicht Sigma-Diffusionssprachmodelle in zwei Größen
Nemotron-Labs-Sigma generiert Text blockweise, indem kontinuierliche Token-Repräsentationen entrauscht werden. NVIDIA gibt für sein 8B-Modell bei Tests auf einer GB200 eine durchschnittliche Beschleunigung der Dekodierung um das 3,46-Fache an.

NVIDIA hat eine Familie von Sprachmodellen veröffentlicht, die Text blockweise generieren, indem sie kontinuierliche Repräsentationen von Tokens entrauschen. Die Modelle gibt es mit 3 Milliarden und 8 Milliarden Parametern. Sie heißen Nemotron-Labs-Sigma und sind laut NVIDIA Research für Schlussfolgern und Programmieren ausgelegt.
MarkTechPost berichtet, dass die Sammlung 14 offene Checkpoints umfasst, darunter Basis-, instruction-tuned, destillierte und selbstspekulative Varianten. Auf der Modellkarte des 8B-Basismodells ist als Veröffentlichungsdatum auf Hugging Face der 12. November 2026 angegeben.
Text blockweise generieren
Sigma beginnt jeden Block mit Gaußschem Rauschen und entrauscht wiederholt eine Repräsentation, die durch den vorhergehenden Text bedingt ist. Sobald der Block verfeinert wurde, gibt das Modell diskrete Tokens aus und fährt mit dem nächsten Block fort.
Die Repräsentation verwendet 16-dimensionale Token-Embeddings, die gemeinsam mit dem Entrauschungsnetzwerk erlernt werden. Das Training beginnt mit vortrainierten autoregressiven Gewichten und verwendet ein gemeinsames Backbone für einen autoregressiven Datenstrom, der unverrauschte Tokens verarbeitet, und einen Diffusionsdatenstrom, der ihre Embeddings entrauscht.
Während der Generierung kann das Modell den Verlauf mithilfe von classifier-free guidance und Score-Temperatur anpassen. Außerdem speist es die vorherige bedingte Vorhersage in den nächsten Entrauschungsschritt ein – eine Technik, die das Projekt Self-Conditioning nennt.
Weniger Schritte und spekulative Dekodierung
Laut NVIDIA generieren destillierte Modelle bei Mathematikaufgaben acht Tokens pro Vorwärtsdurchlauf und beim Programmieren vier, bei vernachlässigbarem Genauigkeitsverlust und erhaltener Vielfalt. Für die Destillation des Modells zur Generierung mit weniger Entrauschungsschritten wird Distribution Matching eingesetzt.
Bei einer separaten Methode entwirft das destillierte Diffusionsmodell Blöcke, die sein eigener autoregressiver Datenstrom überprüft. Laut NVIDIA gibt diese selbstspekulative Dekodierung die Greedy-Ausgabe des autoregressiven Modells wieder.
Auf einer NVIDIA GB200 erreichte das 8B-Modell laut dem Forschungsprojekt einen durchschnittlichen Durchsatz, der 3,46-mal höher war als bei seiner autoregressiven Dekodierung. Dieser Wert beschreibt die getestete selbstspekulative Methode und keine allgemeine Beschleunigung bei jeder Nutzung von Sigma.
Ergebnisse und Verfügbarkeit
Bei den Auswertungen von NVIDIA erzielte das 8B-Basismodell im Schnitt 71,16 Punkte in NVIDIAs Suite mit sechs Aufgaben und lag damit vor NLD-8B mit 70,22 Punkten, berichtet MarkTechPost. Demselben Bericht zufolge erreichte Sigma-8B bei HumanEval 65,12 Punkte gegenüber 62,80 Punkten beim Vergleichsmodell, bei MBPP jedoch 65,74 gegenüber 67,00 Punkten.
Das 8B-Basismodell hat ein maximales Kontextfenster von 4.096 Tokens, einschließlich Prompt und generiertem Text. Auf der Modellkarte wird die Basisversion als Ausgangspunkt für Forschung und Fine-Tuning beschrieben und nicht als Assistent, der Anweisungen folgt; eine entsprechende Instruct-Variante ist verfügbar.
Das 8B-Basismodell läuft mit bfloat16 auf einer CUDA-fähigen NVIDIA-GPU; Inferenz auf einer CPU wird nicht unterstützt. Seine Nutzung unterliegt der NVIDIA Nemotron Open Model License. Laut Modellkarte ist es für die kommerzielle und nichtkommerzielle Nutzung bereit.
Quellen
- Originalquelle NVIDIA Research research.nvidia.com
Weitere gelesene Seiten
- NVIDIA on Hugging Face huggingface.co
- MarkTechPost marktechpost.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- NVIDIA erläutert Zwei-Prompt-Workflow für Trainingsdaten physischer KI
- METR kommt zu dem Ergebnis, dass KI-Modelle bei seinen Programmieraufgaben meist mit versierten Menschen mithalten oder sie übertreffen; die Zeithorizonte verdoppeln sich alle 3,6 Monate
- OpenAI zufolge erledigten KI-Agenten 46 % der delegierten Aufgaben mit einem Arbeitsaufwand von zwei bis vier Stunden
- NVIDIA ergänzt DAQIRI-Datenerfassungsbibliothek um Paket-Neuordnung
- NVIDIA aktualisiert GGUF-Decoder für Nemotron 3.5 Transcribe