The Pulse
NVIDIA lancia un modello Nemotron da 4 GB per agenti locali
NVIDIA ha lanciato Nemotron 3.5 Bolt E4B 4GB per agenti conversazionali locali, tra cui assistenti, personaggi interattivi e interfacce integrate. Il modello ha una finestra di contesto da 64k token e, secondo i risultati dei benchmark di N
AI.info Team · Scritto con l’IA · verificato ·
NVIDIA ha lanciato Nemotron 3.5 Bolt E4B 4GB il 23 ottobre, offrendo agli sviluppatori un piccolo modello linguistico progettato per eseguire agenti locali sui dispositivi anziché inviare ogni richiesta a un servizio cloud. L’azienda si rivolge agli assistenti vocali e per dispositivi, ai personaggi interattivi e alle interfacce integrate, anche nella robotica e nei sistemi industriali. Il lancio segue l’annuncio del 15 ottobre, in cui NVIDIA aveva comunicato che il modello sarebbe arrivato il 23 ottobre.
Quattro gigabyte sono un obiettivo per i carichi di lavoro, non il numero di parametri
Il modello si basa su Gemma 4 E4B di Google ed è stato ulteriormente addestrato da NVIDIA per la conversazione, il rispetto delle istruzioni e l’uso di strumenti in interazioni a più turni. La sua scheda indica 8 miliardi di parametri complessivi, di cui 4 miliardi effettivi, e la versione scaricabile da 4 GB usa la quantizzazione Q4_K_M. NVIDIA afferma che il modello è progettato per usare circa 4 GB di memoria nei carichi di lavoro previsti; l’uso della memoria varia in base alla lunghezza del contesto e alle impostazioni di esecuzione.
La finestra di contesto da 64k token può contenere la cronologia della conversazione, le istruzioni, le definizioni degli strumenti, le informazioni recuperate e lo stato dell’applicazione. NVIDIA elenca 35 lingue supportate, partendo da un modello di base preaddestrato su più di 140. L’input e l’output sono testuali, quindi il modello non elabora direttamente le immagini. La pagina di lancio di NVIDIA descrive una dimostrazione di robotica in cui un modello separato, Cosmos 3 Edge, fornisce la comprensione visiva, mentre Bolt gestisce il dialogo e richiama gli script.
I test di NVIDIA mostrano miglioramenti, ma risultati disomogenei
NVIDIA riferisce una qualità media superiore di circa il 40% rispetto al precedente Nemotron 3 Nano 4B su benchmark selezionati per agenti conversazionali e fino all’80% di token di output in meno rispetto ai modelli concorrenti nei confronti con il ragionamento abilitato. Si tratta di valutazioni condotte dall’azienda, non di risultati indipendenti. La tabella dei benchmark mostra inoltre che le prestazioni variano a seconda del compito: nei risultati BF16, Bolt ottiene 53,1 su MultiChallenge, contro 35,3 di Nano 4B, ma il suo punteggio di 55,1 su Tau2-Bench è inferiore al 75,1 di Qwen 3.5 4B.
NVIDIA mette in guardia dal considerare un singolo benchmark come indicatore delle prestazioni in un’applicazione reale. NVIDIA, che ha sviluppato il modello, scrive:
Gli attuali benchmark colgono solo in parte ciò che permette a questi agenti di funzionare bene, e nessun singolo benchmark copre tutte le capacità di cui un’applicazione ha bisogno.
I test hardware pubblicati dall’azienda misurano il modello quantizzato Q4_K_M con llama.cpp e una dimensione del batch pari a uno; NVIDIA afferma che i risultati possono variare in base all’hardware, al software di inferenza e alla configurazione.
La distribuzione locale comporta requisiti di piattaforma e condizioni di licenza
NVIDIA fornisce istruzioni per eseguire Bolt tramite llama.cpp e il modello è indicato anche come utilizzabile con strumenti tra cui vLLM, SGLang, Ollama e Docker Model Runner. NVIDIA elenca i sistemi GeForce RTX, Jetson e RTX/DGX Spark tra le piattaforme a cui si rivolge. Su una RTX 5070, l’azienda riferisce un uso di 3,5 GB di VRAM, un tempo al primo token di 548 millisecondi e 133,4 token al secondo per un carico di lavoro con 3.000 nuovi token in input e 50 token in output.
Il modello è disponibile per usi commerciali e non commerciali secondo l’OpenMDW License Agreement di NVIDIA, versione 1.1; il modello Gemma 4 su cui si basa è disciplinato dalla licenza Apache 2.0. Le condizioni di licenza rientrano quindi nella pianificazione della distribuzione, insieme ai requisiti hardware. La proposta pratica di Bolt è più circoscritta di quella di un chatbot desktop generalista: è un modello testuale ottimizzato per scambi brevi e interattivi e per l’uso di strumenti nei casi in cui è importante mantenere locale l’inferenza.