Aller au contenu
AI.info

The Pulse

NVIDIA met à jour les décodeurs GGUF de Nemotron 3.5 Transcribe

Le dépôt GGUF de NVIDIA comprend désormais un décodeur IQ4_NL et un décodeur NVFP4 converti à partir du checkpoint NVFP4. Le modèle de traitement de la parole hors ligne prend en charge la transcription dans 40 langues et les enregistrements d’une durée maximale d’une heure.

NVIDIA met à jour les décodeurs GGUF de Nemotron 3.5 Transcribe

NVIDIA a mis à jour son package GGUF Nemotron 3.5 Transcribe en y ajoutant un décodeur IQ4_NL et un décodeur NVFP4 converti à partir du checkpoint NVFP4 le 18 novembre, selon l’historique des commits de son dépôt Hugging Face. Ce modèle à poids ouverts, utilisable hors ligne, prend en charge la transcription dans 40 langues et les enregistrements d’une durée maximale d’une heure.

Les fichiers GGUF sont destinés à NeMo-Speech.cpp, l’environnement d’exécution natif en C++ de NVIDIA pour la famille de modèles Nemotron Speech. Cet environnement prend en charge Linux et Windows, et le modèle peut être utilisé à des fins commerciales et non commerciales.

Deux fichiers pour un modèle

Un modèle fonctionnel se compose d’un décodeur de modèle de langage et d’un fichier d’encodeur partagé. L’encodeur contient l’encodeur audio, sa branche de locuteur et une tête d’horodatage CTC ; l’environnement d’exécution le charge depuis le même répertoire que le décodeur sélectionné.

Le décodeur NVFP4 pèse 21,2 Gio et est destiné aux GPU Blackwell. Le décodeur IQ4_NL pèse 19,0 Gio et est destiné aux autres GPU, notamment Ampere, Ada et Hopper, ainsi qu’aux processeurs. Le fichier d’encodeur pèse 1,6 Gio et est requis avec l’un ou l’autre décodeur.

Pour NVFP4, la configuration matérielle requise indiquée est un GPU NVIDIA Blackwell doté d’au moins 32 Go de mémoire. Pour IQ4_NL, la fiche indique les autres GPU NVIDIA dotés d’au moins 24 Go, ou un processeur. Son tableau d’intégration précise les réglages tirés du guide de l’environnement d’exécution pour les RTX 3090 et RTX 4090 de 24 Go.

Tâches vocales et environnement d’exécution

Le modèle traite les enregistrements avec des instructions textuelles et un contexte facultatif. Parmi les tâches prises en charge figurent la transcription multilingue, la traduction de la parole, la transcription avec attribution des locuteurs et les réponses à des questions sur l’audio. Il peut également renvoyer des horodatages mot à mot et des étiquettes de locuteur.

Le modèle compte 34 milliards de paramètres, encodeur audio compris, dont 4,3 milliards sont actifs. Son modèle de langage utilise une architecture hybride de mélange d’experts Mamba-2–Transformer, associée à un Parallel Expert Encoder.

NeMo-Speech.cpp peut transcrire depuis la ligne de commande ou exécuter un serveur compatible avec OpenAI. Le serveur peut renvoyer des horodatages mot à mot et des étiquettes de locuteur, et propose un export de sous-titres aux formats SRT ou VTT. Les applications doivent fournir l’historique de la conversation ; la recette du modèle ne prévoit pas de mémoire persistante.

Décodage et évaluation

Sur CUDA, la tête de prédiction multi-token du décodeur propose par défaut sept tokens à chaque étape, que le modèle vérifie en une seule passe. Le nombre de tokens proposés peut être réglé jusqu’à 15 ; le régler sur zéro désactive cette fonctionnalité.

Un modèle de proposition DFlash2 facultatif est disponible sous la forme d’un fichier de 1,1 Gio. NVIDIA indique qu’il accélère le décodage lorsque peu de requêtes sont traitées simultanément. La fiche du modèle renvoie aux résultats de benchmark du modèle de base, mais précise que ces résultats ont été calculés pour le modèle BF16, et non pour les variantes GGUF.

Le modèle est soumis à la licence OpenMDW-1.1. NVIDIA indique que son intégration dans des systèmes d’IA nécessite des tests supplémentaires avec des données propres au cas d’usage.

Sources

  1. Source originale NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co

Autres pages lues

  1. NVIDIA · page 2 huggingface.co
  2. Hugging Face huggingface.co

Articles liés

Explorer

Autres articles