The Pulse
Abacus pubblica un fine-tune a 4 bit di Nemotron per gli agenti di programmazione
Abacus.AI ha pubblicato un fine-tune a 4 bit di NVIDIA Nemotron 3.5 Super VL per la programmazione agentica, segnalando miglioramenti rispetto al modello di base NVFP4 nei benchmark di programmazione agentica. L’azienda ha pubblicato i pesi
AI.info Team · Scritto con l’IA · verificato ·
Abacus porta a 4 bit il suo fine-tune di Nemotron
Il 22 ottobre Abacus.AI ha pubblicato Smaug-Nemotron-3.5-NVFP4, una versione a 4 bit del suo fine-tune di NVIDIA Nemotron 3.5 Super VL per la programmazione agentica. Il modello di base ha 120 miliardi di parametri, di cui 12 miliardi attivi alla volta; combina Mamba-2, livelli mixture-of-experts e meccanismi di attenzione, e accetta testo, immagini e video. Secondo Abacus, il nuovo checkpoint occupa circa 75 GB, all’incirca un terzo delle dimensioni del modello BF16.
Queste dimensioni ridotte cambiano l’hardware necessario per mettere a disposizione il modello. Nel suo post, Abacus indica che il corrispondente checkpoint NVFP4 di NVIDIA può essere eseguito su un DGX Spark, un H200 o un GB200. Aggiunge che gli stack già usati per mettere a disposizione quel checkpoint possono adottare Smaug come sostituto diretto. I pesi sono pubblicati su Hugging Face con la licenza OpenMDW 1.1, ereditata dal modello di base di NVIDIA.
I punteggi agentici migliorano rispetto al modello di base a 4 bit
Abacus segnala miglioramenti rispetto al checkpoint NVFP4 di NVIDIA in tutti e cinque i test di programmazione agentica elencati nella scheda del modello. Smaug ottiene 71,8 su SWE-bench Verified, contro 71,1 del modello di base, e 64,0 su Terminal-Bench 2.1, rispetto a 62,8. Il suo punteggio su DeepSWE è 21,2 contro 18,2, mentre quello su SWE-bench Multilingual sale da 67,0 a 69,0 e quello su NL2RepoBench da 28,3 a 30,2.
Su LiveBench 2.0, l’azienda riporta 72,2 per Coding contro 61,3 del modello di base NVFP4, e 19,6 per Agentic contro 11,5. Il punteggio complessivo è 52,9, rispetto a 50,0. La scheda del modello precisa che i punteggi LiveBench di tutti e tre i modelli provengono dalla classifica pubblica, mentre gli altri risultati di Smaug derivano da test eseguiti dall’azienda; descrive inoltre le configurazioni di valutazione e il numero di esecuzioni.
I miglioramenti riportati si concentrano sulla programmazione agentica, più che sulle capacità generali. Nei confronti presentati da Abacus, i risultati relativi al ragionamento, alla programmazione, alla capacità di seguire istruzioni, ai contesti lunghi e alla visione restano vicini ai punteggi del modello di base. Questi risultati non costituiscono una conferma indipendente: un tracker di benchmark del 23 ottobre 2026 non riporta ancora risultati indipendenti per il modello.
L’addestramento sui pesi destinati alla distribuzione
Secondo Abacus, un normale fine-tuning seguito da una quantizzazione a 4 bit cancellerebbe gran parte del piccolo aggiornamento che intendeva preservare. Il suo approccio, che chiama merge-aware training, esegue ogni passaggio di addestramento usando pesi arrotondati nel formato previsto per la distribuzione. L’obiettivo di apprendimento premia le azioni di chiamata degli strumenti, applicando al tempo stesso una penalità separata per mantenere il ragionamento del modello vicino a quello del modello di base.
«La nuova idea è che la funzione di perdita veda sempre il modello esattamente come verrà messo a disposizione».
Scrivono gli autori Sandeep Singh Sandha e Arvind Sundararajan
Secondo l’azienda, il metodo adatta il modello linguistico; il codificatore visivo, il connettore visione-linguaggio, la testa MTP e la configurazione della quantizzazione restano quelli del checkpoint di NVIDIA. La principale modifica apportata dal fine-tune riguarda quindi il comportamento del modello nell’uso degli strumenti su più turni, non la sua architettura.
Pesi aperti, ma punteggi riportati dall’azienda
La scheda del modello consiglia una temperatura di 1,0 e un top-p di 0,95 per l’utilizzo. Per gli agenti di programmazione, Abacus raccomanda inoltre di conservare il ragionamento precedente nella cronologia della conversazione, usando l’impostazione truncate_history_thinking: false. Secondo il post con cui l’azienda ha annunciato la pubblicazione, il modello supporta vLLM, SGLang e TensorRT-LLM.
Smaug-Nemotron-3.5-NVFP4 si aggiunge al precedente fine-tune BF16 realizzato da Abacus sullo stesso modello NVIDIA, senza sostituirlo. Gli sviluppatori possono confrontare i due checkpoint pubblicati, ma i dati dei benchmark restano risultati riportati da Abacus finché non saranno disponibili valutazioni indipendenti.