Ir para o conteúdo
AI.info

The Pulse

NVIDIA atualiza decodificadores GGUF do Nemotron 3.5 Transcribe

O repositório GGUF da NVIDIA agora inclui um decodificador IQ4_NL e um decodificador NVFP4 convertido do checkpoint NVFP4. O modelo de fala offline oferece suporte à transcrição em 40 idiomas e a gravações de até uma hora.

NVIDIA atualiza decodificadores GGUF do Nemotron 3.5 Transcribe

A NVIDIA atualizou seu pacote Nemotron 3.5 Transcribe GGUF com um decodificador IQ4_NL e um decodificador NVFP4 convertido do checkpoint NVFP4 em 18 de novembro, segundo o histórico de commits no Hugging Face. O modelo offline, com pesos abertos, oferece suporte à transcrição em 40 idiomas e a gravações de até uma hora.

Os arquivos GGUF foram feitos para o NeMo-Speech.cpp, runtime nativo em C++ da NVIDIA para a família de modelos Nemotron Speech. O runtime oferece suporte a Linux e Windows, e o modelo pode ser usado para fins comerciais e não comerciais.

Dois arquivos para um modelo

Um modelo funcional consiste em um decodificador de modelo de linguagem e um arquivo de encoder compartilhado. O encoder contém o encoder de áudio, seu ramo de falantes e uma cabeça de timestamp CTC; o runtime o carrega do mesmo diretório que o decodificador selecionado.

O decodificador NVFP4 tem 21,2 GiB e foi feito para GPUs Blackwell. O decodificador IQ4_NL tem 19,0 GiB e foi feito para outras GPUs, incluindo Ampere, Ada e Hopper, além de CPUs. O arquivo do encoder tem 1,6 GiB e é necessário com qualquer um dos decodificadores.

Para NVFP4, o requisito de hardware listado é uma GPU NVIDIA Blackwell com 32 GB de memória ou mais. Para IQ4_NL, a ficha lista outras GPUs NVIDIA com 24 GB ou mais, ou uma CPU. A tabela de integração especifica configurações do guia do runtime para as RTX 3090 e RTX 4090 de 24 GB.

Tarefas de fala e runtime

O modelo processa gravações junto com instruções em texto e contexto opcional. Entre as tarefas compatíveis estão transcrição multilíngue, tradução de fala, transcrição atribuída a falantes e respostas a perguntas sobre áudio. Ele também pode retornar timestamps por palavra e rótulos de falantes.

O modelo tem 34 bilhões de parâmetros, incluindo o encoder de áudio, dos quais 4,3 bilhões são ativos. Seu modelo de linguagem usa uma arquitetura híbrida de mistura de especialistas Mamba-2–Transformer, combinada com um Parallel Expert Encoder.

O NeMo-Speech.cpp pode transcrever pela linha de comando ou executar um servidor compatível com OpenAI. O servidor pode retornar timestamps por palavra e rótulos de falantes, além de oferecer saída de legendas no formato SRT ou VTT. Os aplicativos precisam fornecer o histórico da conversa; a receita do modelo não estabelece memória persistente.

Decodificação e avaliação

Em CUDA, a cabeça de previsão de múltiplos tokens do decodificador rascunha sete tokens por etapa por padrão, para que o modelo os verifique em uma única passagem. A quantidade de tokens do rascunho pode ser definida em até 15; se for definida como zero, o recurso é desativado.

Um modelo de rascunho DFlash2 opcional está disponível em um arquivo de 1,1 GiB. A NVIDIA diz que ele proporciona decodificação mais rápida quando há poucas solicitações simultâneas. O model card aponta para resultados de benchmark do modelo-base, mas observa que esses resultados foram calculados para o modelo BF16, não para as variantes GGUF.

O modelo é regido pela licença OpenMDW-1.1. A NVIDIA diz que a integração em sistemas de IA exige testes adicionais com dados específicos para cada caso de uso.

Fontes

  1. Fonte original NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co

Outras páginas lidas

  1. NVIDIA · página 2 huggingface.co
  2. Hugging Face huggingface.co

Notícias relacionadas

Explore

Mais artigos