The Pulse
NVIDIA actualiza los decodificadores GGUF de Nemotron 3.5 Transcribe
El repositorio GGUF de NVIDIA ahora incluye un decodificador IQ4_NL y otro NVFP4, convertido a partir del checkpoint NVFP4. El modelo de voz offline admite la transcripción en 40 idiomas y de grabaciones de hasta una hora.

NVIDIA actualizó su paquete GGUF Nemotron 3.5 Transcribe con un decodificador IQ4_NL y un decodificador NVFP4 convertido a partir del checkpoint NVFP4 el 18 de noviembre, según el historial de commits de Hugging Face. El modelo de pesos abiertos, que funciona sin conexión, admite la transcripción en 40 idiomas y grabaciones de hasta una hora.
Los archivos GGUF están pensados para NeMo-Speech.cpp, el runtime nativo de C++ de NVIDIA para la familia de modelos Nemotron Speech. El runtime es compatible con Linux y Windows, y el modelo está disponible para uso comercial y no comercial.
Dos archivos para un modelo
Un modelo funcional consta de un decodificador de modelo de lenguaje y un archivo de codificador compartido. El codificador contiene el codificador de audio, su rama de hablante y una capa de marcas de tiempo CTC; el runtime lo carga desde el mismo directorio que el decodificador seleccionado.
El decodificador NVFP4 ocupa 21,2 GiB y está pensado para GPU Blackwell. El decodificador IQ4_NL ocupa 19,0 GiB y está pensado para otras GPU, incluidas Ampere, Ada y Hopper, así como para CPU. El archivo del codificador ocupa 1,6 GiB y es necesario con cualquiera de los dos decodificadores.
Para NVFP4, el requisito de hardware indicado es una GPU NVIDIA Blackwell con 32 GB de memoria o más. Para IQ4_NL, la tarjeta indica otras GPU NVIDIA con 24 GB o más, o una CPU. Su tabla de integración especifica ajustes de la guía del runtime para las RTX 3090 y RTX 4090 de 24 GB.
Tareas de voz y runtime
El modelo procesa grabaciones junto con instrucciones de texto y contexto opcional. Entre las tareas que admite figuran la transcripción multilingüe, la traducción de voz, la transcripción con atribución de hablantes y las respuestas a preguntas sobre audio. También puede devolver marcas de tiempo por palabra y etiquetas de hablante.
El modelo tiene 34 mil millones de parámetros, incluido el codificador de audio, de los cuales 4,3 mil millones están activos. Su modelo de lenguaje utiliza una arquitectura híbrida de mezcla de expertos Mamba-2–Transformer, junto con un Parallel Expert Encoder.
NeMo-Speech.cpp puede transcribir desde la línea de comandos o ejecutar un servidor compatible con OpenAI. El servidor puede devolver marcas de tiempo por palabra y etiquetas de hablante, y ofrece subtítulos en formato SRT o VTT. Las aplicaciones deben proporcionar el historial de conversación; la receta del modelo no establece memoria persistente.
Decodificación y evaluación
En CUDA, el cabezal de predicción de múltiples tokens del decodificador propone siete tokens por paso de forma predeterminada para que el modelo los verifique en una sola pasada. El número de propuestas puede configurarse hasta 15, y establecerlo en cero desactiva la función.
Hay disponible un modelo de borrador DFlash2 opcional en un archivo de 1,1 GiB. NVIDIA afirma que permite una decodificación más rápida cuando hay pocas solicitudes simultáneas. La ficha del modelo remite a resultados de benchmark del modelo base, pero señala que se calcularon con el modelo BF16, no con las variantes GGUF.
El modelo se rige por la licencia OpenMDW-1.1. NVIDIA afirma que la integración en sistemas de IA requiere pruebas adicionales con datos específicos del caso de uso.
Fuentes
- Fuente original NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co
Otras páginas leídas
- NVIDIA · página 2 huggingface.co
- Hugging Face huggingface.co
Noticias relacionadas
- NVIDIA añade reordenamiento de paquetes a la biblioteca de adquisición de datos DAQIRI
- NVIDIA detalla un flujo de trabajo con dos prompts para preparar datos de entrenamiento de IA física
- NVIDIA apunta a los cuellos de botella en los cálculos de materiales con Daviator
- NVIDIA detalla herramientas de Dynamo para las trayectorias de aprendizaje por refuerzo
- FlashInfer en ROCm enruta automáticamente los kernels de GPU de AMD