The Pulse
NVIDIA atualiza decodificadores GGUF do Nemotron 3.5 Transcribe
O repositório GGUF da NVIDIA agora inclui um decodificador IQ4_NL e um decodificador NVFP4 convertido do checkpoint NVFP4. O modelo de fala offline oferece suporte à transcrição em 40 idiomas e a gravações de até uma hora.

A NVIDIA atualizou seu pacote Nemotron 3.5 Transcribe GGUF com um decodificador IQ4_NL e um decodificador NVFP4 convertido do checkpoint NVFP4 em 18 de novembro, segundo o histórico de commits no Hugging Face. O modelo offline, com pesos abertos, oferece suporte à transcrição em 40 idiomas e a gravações de até uma hora.
Os arquivos GGUF foram feitos para o NeMo-Speech.cpp, runtime nativo em C++ da NVIDIA para a família de modelos Nemotron Speech. O runtime oferece suporte a Linux e Windows, e o modelo pode ser usado para fins comerciais e não comerciais.
Dois arquivos para um modelo
Um modelo funcional consiste em um decodificador de modelo de linguagem e um arquivo de encoder compartilhado. O encoder contém o encoder de áudio, seu ramo de falantes e uma cabeça de timestamp CTC; o runtime o carrega do mesmo diretório que o decodificador selecionado.
O decodificador NVFP4 tem 21,2 GiB e foi feito para GPUs Blackwell. O decodificador IQ4_NL tem 19,0 GiB e foi feito para outras GPUs, incluindo Ampere, Ada e Hopper, além de CPUs. O arquivo do encoder tem 1,6 GiB e é necessário com qualquer um dos decodificadores.
Para NVFP4, o requisito de hardware listado é uma GPU NVIDIA Blackwell com 32 GB de memória ou mais. Para IQ4_NL, a ficha lista outras GPUs NVIDIA com 24 GB ou mais, ou uma CPU. A tabela de integração especifica configurações do guia do runtime para as RTX 3090 e RTX 4090 de 24 GB.
Tarefas de fala e runtime
O modelo processa gravações junto com instruções em texto e contexto opcional. Entre as tarefas compatíveis estão transcrição multilíngue, tradução de fala, transcrição atribuída a falantes e respostas a perguntas sobre áudio. Ele também pode retornar timestamps por palavra e rótulos de falantes.
O modelo tem 34 bilhões de parâmetros, incluindo o encoder de áudio, dos quais 4,3 bilhões são ativos. Seu modelo de linguagem usa uma arquitetura híbrida de mistura de especialistas Mamba-2–Transformer, combinada com um Parallel Expert Encoder.
O NeMo-Speech.cpp pode transcrever pela linha de comando ou executar um servidor compatível com OpenAI. O servidor pode retornar timestamps por palavra e rótulos de falantes, além de oferecer saída de legendas no formato SRT ou VTT. Os aplicativos precisam fornecer o histórico da conversa; a receita do modelo não estabelece memória persistente.
Decodificação e avaliação
Em CUDA, a cabeça de previsão de múltiplos tokens do decodificador rascunha sete tokens por etapa por padrão, para que o modelo os verifique em uma única passagem. A quantidade de tokens do rascunho pode ser definida em até 15; se for definida como zero, o recurso é desativado.
Um modelo de rascunho DFlash2 opcional está disponível em um arquivo de 1,1 GiB. A NVIDIA diz que ele proporciona decodificação mais rápida quando há poucas solicitações simultâneas. O model card aponta para resultados de benchmark do modelo-base, mas observa que esses resultados foram calculados para o modelo BF16, não para as variantes GGUF.
O modelo é regido pela licença OpenMDW-1.1. A NVIDIA diz que a integração em sistemas de IA exige testes adicionais com dados específicos para cada caso de uso.
Fontes
- Fonte original NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co
Outras páginas lidas
- NVIDIA · página 2 huggingface.co
- Hugging Face huggingface.co
Notícias relacionadas
- NVIDIA adiciona reordenação de pacotes à biblioteca de aquisição de dados DAQIRI
- NVIDIA detalha fluxo de trabalho com dois prompts para dados de treinamento de IA física
- NVIDIA mira gargalos em cálculos de materiais com Daviator
- NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço
- FlashInfer no ROCm roteia automaticamente kernels de GPU da AMD