Zum Inhalt springen
AI.info

The Pulse

NVIDIA aktualisiert GGUF-Decoder für Nemotron 3.5 Transcribe

NVIDIAs GGUF-Repository enthält jetzt einen IQ4_NL-Decoder und einen NVFP4-Decoder, der aus dem NVFP4-Checkpoint konvertiert wurde. Das Offline-Sprachmodell unterstützt Transkriptionen in 40 Sprachen und Aufnahmen von bis zu einer Stunde.

NVIDIA aktualisiert GGUF-Decoder für Nemotron 3.5 Transcribe

NVIDIA hat sein Nemotron-3.5-Transcribe-GGUF-Paket am 18. November um einen IQ4_NL-Decoder und einen NVFP4-Decoder erweitert, der aus dem NVFP4-Checkpoint konvertiert wurde. Das geht aus der Commit-Historie auf Hugging Face hervor. Das Modell mit offenen Gewichten, das offline läuft, unterstützt Transkriptionen in 40 Sprachen und Aufnahmen von bis zu einer Stunde.

Die GGUF-Dateien sind für NeMo-Speech.cpp gedacht, die native C++-Laufzeitumgebung von NVIDIA für die Nemotron-Speech-Modellfamilie. Die Laufzeitumgebung unterstützt Linux und Windows, und das Modell kann kommerziell und nicht kommerziell genutzt werden.

Zwei Dateien für ein Modell

Ein funktionsfähiges Modell besteht aus einem Sprachmodell-Decoder und einer gemeinsam genutzten Encoder-Datei. Der Encoder enthält den Audio-Encoder, seinen Sprecherzweig und einen CTC-Zeitstempelkopf; die Laufzeitumgebung lädt ihn aus demselben Verzeichnis wie den ausgewählten Decoder.

Der NVFP4-Decoder ist 21,2 GiB groß und für Blackwell-GPUs gedacht. Der IQ4_NL-Decoder ist 19,0 GiB groß und für andere GPUs gedacht, darunter Ampere, Ada und Hopper, sowie für CPUs. Die Encoder-Datei ist 1,6 GiB groß und wird mit beiden Decodern benötigt.

Für NVFP4 lautet die angegebene Hardwareanforderung: eine NVIDIA-Blackwell-GPU mit mindestens 32 GB Speicher. Für IQ4_NL nennt die Modellkarte andere NVIDIA-GPUs mit mindestens 24 GB Speicher oder eine CPU. Die Integrationstabelle gibt Einstellungen aus der Laufzeitumgebungsanleitung für die 24-GB-GPUs RTX 3090 und RTX 4090 an.

Sprachaufgaben und Laufzeitumgebung

Das Modell verarbeitet Aufnahmen zusammen mit Textanweisungen und optionalem Kontext. Zu den unterstützten Aufgaben gehören mehrsprachige Transkription, Sprachübersetzung, Transkription mit Sprecherzuordnung und das Beantworten von Fragen zu Audio. Außerdem kann es Wortzeitstempel und Sprecherkennzeichnungen ausgeben.

Das Modell hat 34 Milliarden Parameter, einschließlich des Audio-Encoders; davon sind 4,3 Milliarden aktiv. Sein Sprachmodell nutzt eine hybride Mixture-of-Experts-Architektur aus Mamba-2 und Transformer, kombiniert mit einem Parallel Expert Encoder.

NeMo-Speech.cpp kann über die Kommandozeile transkribieren oder als OpenAI-kompatibler Server ausgeführt werden. Der Server kann Wortzeitstempel und Sprecherkennzeichnungen ausgeben und Untertitel im SRT- oder VTT-Format bereitstellen. Anwendungen müssen den Gesprächsverlauf mitliefern; das Modellrezept sieht kein dauerhaftes Gedächtnis vor.

Decodierung und Evaluierung

Unter CUDA schlägt der Multi-Token-Prediction-Kopf des Decoders standardmäßig sieben Token pro Schritt vor, die das Modell in einem Durchlauf überprüft. Die Zahl der vorgeschlagenen Token lässt sich auf bis zu 15 einstellen; bei einem Wert von null ist die Funktion ausgeschaltet.

Ein optionales DFlash2-Entwurfsmodell ist als 1,1-GiB-Datei verfügbar. NVIDIA zufolge ermöglicht es eine schnellere Decodierung, wenn nur wenige Anfragen gleichzeitig eingehen. Die Modellkarte verweist auf Benchmark-Ergebnisse für das Basismodell, weist aber darauf hin, dass diese Ergebnisse für das BF16-Modell und nicht für die GGUF-Varianten berechnet wurden.

Für das Modell gilt die Lizenz OpenMDW-1.1. NVIDIA zufolge ist für die Integration in KI-Systeme eine zusätzliche Prüfung mit anwendungsfallspezifischen Daten erforderlich.

Quellen

  1. Originalquelle NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co

Weitere gelesene Seiten

  1. NVIDIA · Seite 2 huggingface.co
  2. Hugging Face huggingface.co

Verwandte Meldungen

Entdecken

Weitere Artikel