The Pulse
NVIDIA rilascia Nemotron 3.5 Transcribe e Granary v2
NVIDIA ha rilasciato Nemotron 3.5 Transcribe, un modello a pesi aperti per la trascrizione multilingue, l’attribuzione dei parlanti, la traduzione e le domande sull’audio. Il rilascio comprende anche Granary v2, un dataset di parlato di 463
AI.info Team · Scritto con l’IA · verificato ·
«NVIDIA Nemotron 3.5 Transcribe è un modello a pesi aperti, guidabile tramite prompt, che trasforma il parlato registrato in testo utile».
Maryam Motamedi e gli altri autori di NVIDIA
NVIDIA ha rilasciato Nemotron 3.5 Transcribe il 28 ottobre, presentandolo come un unico modello per la trascrizione multilingue del parlato, l’attribuzione dei parlanti, la traduzione e le risposte a domande sull’audio. Gli sviluppatori possono orientarne l’output con istruzioni in linguaggio naturale, mentre Granary v2, rilasciato insieme al modello, fornisce dati di addestramento multilingue e una pipeline riutilizzabile per preparare dataset di parlato.
Il modello è a pesi aperti ed è disponibile tramite Hugging Face e ModelScope. Secondo NVIDIA, gestisce registrazioni fino a un’ora, supporta la trascrizione in 40 lingue, la traduzione da o verso l’inglese in 31 e l’attribuzione dei parlanti in 13, con un massimo di otto parlanti per registrazione. L’azienda lo descrive come uno strumento per l’audio registrato, non per la trascrizione di flussi in diretta.
Un solo checkpoint, diversi compiti legati al parlato
Con un prompt si può chiedere al modello di trascrivere e identificare i parlanti, tradurre il parlato in inglese o rispondere a una domanda su una riunione. Gli sviluppatori possono anche specificare le convenzioni da seguire nella trascrizione e fornire possibili grafie di termini specialistici. Il prompt d’esempio di NVIDIA per il parlato medico include termini come HbA1c e metformin, ma indica al modello di usarli solo quando trovano riscontro nell’audio.
Le lingue supportate dipendono dal compito: secondo l’annuncio, il modello è stato addestrato a rispondere a domande sull’audio in inglese. Supporta anche timestamp a livello di singola parola. NVIDIA consiglia agli utenti di verificare nomi, cambi di parlante e risposte generate confrontandoli con la registrazione: una limitazione pratica nei flussi di lavoro in cui una parola o un’attribuzione errata può avere conseguenze.
I risultati nei benchmark e la dichiarazione sulla capacità di elaborazione
NVIDIA riferisce un tasso medio di errore sulle parole del 5,33% nella sezione inglese della Open ASR Leaderboard di Hugging Face, dove, secondo il post, il modello si colloca al primo posto tra quelli a pesi aperti; i modelli accessibili tramite API sono esclusi dal confronto. L’azienda cita inoltre un tasso medio di errore sulle parole del 4,62% in sette lingue e del 10,98% in una sezione dedicata alle registrazioni lunghe, descrivendo entrambi come i valori più bassi tra i modelli a pesi aperti inclusi nel suo confronto.
Nella classifica speech-to-text di Artificial Analysis, secondo NVIDIA il modello condivide il miglior risultato tra quelli a pesi aperti, con un AA-WER del 2,8% e circa 4 miliardi di parametri attivi. La sua architettura combina un encoder del parlato con un modello linguistico ibrido Mamba–Transformer di tipo mixture-of-experts; per ogni token sono attivi circa 4 miliardi dei suoi 30 miliardi di parametri. NVIDIA afferma che una GPU RTX PRO 6000 Blackwell Server Edition ha elaborato 100 ore di audio in meno di tre minuti usando la precisione NVFP4; la misurazione si basa su clip di 30 secondi elaborate con un elevato livello di concorrenza.
Per l’attribuzione dei parlanti, l’azienda riferisce un tasso di errore di diarizzazione del 18,26% su 21 lingue nella valutazione di David AI e un tasso di errore sulle parole, calcolato sulle trascrizioni concatenate con permutazione minima, del 32,4% nel benchmark inglese di VoiceArena sulle sessioni complete. Sono risultati ottenuti da valutazioni distinte, con metriche e copertura linguistica diverse, non da un unico test comparativo diretto.
Granary v2 punta a ridurre gli errori specifici di un dominio
Il manifest pubblico di Granary v2 comprende 463.062 ore di parlato in 48 lingue, provenienti da 16 corpora di origine. NVIDIA precisa che il dataset è distinto dall’insieme completo dei dati usati per addestrare Transcribe. La sua pipeline produce diverse forme di trascrizione, comprese versioni che conservano le disfluenze e versioni che normalizzano i numeri e altre convenzioni di scrittura, oltre a didascalie, dati di traduzione e coppie di domande e risposte basate sul parlato.
Uno studio di caso sul parlato medico offre una prova più concreta dell’adattamento. Su 2.764 clip tenute da parte, tratte da medici e studenti di medicina indiani, NVIDIA riferisce che il fine-tuning ha ridotto il tasso di errore sulle parole dal 22,44% della baseline con il prompt migliore al 12,17%, una riduzione relativa del 45,8%. Lo studio segnala anche un lieve peggioramento sull’inglese generale: dopo l’adattamento, il tasso di errore sulle parole nel test-clean di LibriSpeech è salito dall’1,54% all’1,69%.
Questo compromesso conta: il risultato in ambito medico non significa che l’adattamento a un dominio migliori le prestazioni su ogni tipo di parlato. Gli sviluppatori possono scaricare il modello e i manifest del dataset da Hugging Face o ModelScope, distribuire il checkpoint con vLLM o eseguirlo in locale con NeMo-Speech.cpp; NVIDIA elenca anche endpoint ospitati da Baseten, DeepInfra e Simplismart.