Vai al contenuto
AI.info

The Pulse

NVIDIA aggiorna i decoder GGUF di Nemotron 3.5 Transcribe

Il repository GGUF di NVIDIA ora include un decoder IQ4_NL e un decoder NVFP4 convertito dal checkpoint NVFP4. Il modello vocale offline supporta la trascrizione in 40 lingue e di registrazioni fino a un’ora.

NVIDIA aggiorna i decoder GGUF di Nemotron 3.5 Transcribe

Il 18 novembre NVIDIA ha aggiornato il pacchetto GGUF di Nemotron 3.5 Transcribe con un decoder IQ4_NL e un decoder NVFP4 convertito dal checkpoint NVFP4, secondo la cronologia dei commit su Hugging Face. Il modello offline a pesi aperti supporta la trascrizione in 40 lingue e di registrazioni fino a un’ora.

I file GGUF sono destinati a NeMo-Speech.cpp, il runtime nativo in C++ di NVIDIA per la famiglia di modelli Nemotron Speech. Il runtime supporta Linux e Windows e il modello è disponibile per usi commerciali e non commerciali.

Due file per un modello

Un modello funzionante è composto da un decoder del modello linguistico e da un file encoder condiviso. L’encoder contiene l’encoder audio, il suo ramo dedicato ai parlanti e una testa CTC per i timestamp; il runtime lo carica dalla stessa directory del decoder selezionato.

Il decoder NVFP4 pesa 21,2 GiB ed è destinato alle GPU Blackwell. Il decoder IQ4_NL pesa 19,0 GiB ed è destinato ad altre GPU, tra cui Ampere, Ada e Hopper, oltre che alle CPU. Il file encoder pesa 1,6 GiB ed è richiesto con entrambi i decoder.

Per NVFP4, il requisito hardware indicato è una GPU NVIDIA Blackwell con almeno 32 GB di memoria. Per IQ4_NL, la scheda indica altre GPU NVIDIA con almeno 24 GB di memoria, oppure una CPU. La tabella di integrazione specifica impostazioni tratte dalla guida del runtime per le RTX 3090 e RTX 4090 da 24 GB.

Attività vocali e runtime

Il modello elabora registrazioni insieme a istruzioni testuali e a un contesto facoltativo. Tra le attività supportate figurano la trascrizione multilingue, la traduzione del parlato, la trascrizione con attribuzione dei parlanti e la risposta a domande sull’audio. Può anche restituire timestamp delle parole ed etichette dei parlanti.

Il modello ha 34 miliardi di parametri, incluso l’encoder audio, di cui 4,3 miliardi sono attivi. Il suo modello linguistico utilizza un’architettura ibrida Mamba-2–Transformer a mixture of experts, abbinata a un Parallel Expert Encoder.

NeMo-Speech.cpp può trascrivere dalla riga di comando o eseguire un server compatibile con OpenAI. Il server può restituire timestamp delle parole ed etichette dei parlanti e offre l’output dei sottotitoli nei formati SRT o VTT. Le applicazioni devono fornire la cronologia della conversazione; la ricetta del modello non stabilisce una memoria persistente.

Decodifica e valutazione

Su CUDA, la testa di predizione multi-token del decoder propone per impostazione predefinita sette token per passaggio, che il modello verifica in un’unica iterazione. Il numero di token proposti può essere impostato fino a 15; impostandolo a zero, la funzione viene disattivata.

È disponibile un modello opzionale di proposta DFlash2 in un file da 1,1 GiB. NVIDIA afferma che consente una decodifica più rapida quando le richieste simultanee sono poche. La scheda del modello rimanda ai risultati dei benchmark per il modello base, ma precisa che sono stati calcolati per il modello BF16, non per le varianti GGUF.

Il modello è disciplinato dalla licenza OpenMDW-1.1. NVIDIA afferma che l’integrazione nei sistemi di IA richiede ulteriori test con dati specifici per il caso d’uso.

Fonti

  1. Fonte originale NVIDIA · NVIDIA Nemotron 3.5 Transcribe 30B A4B GGUF huggingface.co

Altre pagine lette

  1. NVIDIA · pagina 2 huggingface.co
  2. Hugging Face huggingface.co

Notizie correlate

Esplora

Altri articoli