The Pulse
I ricercatori di NVIDIA pubblicano una ricetta con un contesto da 256K per gli agenti di programmazione
I ricercatori di NVIDIA descrivono una ricetta di addestramento intermedio con un contesto da 256K per preparare i modelli Nemotron ai compiti degli agenti di programmazione. Nei loro test, 500 miliardi di token di addestramento hanno porta
AI.info Team · Scritto con l’IA · verificato ·
Il punteggio di Nemotron 3.5 Lightning su SWE-bench Verified è salito dal 60,7% al 64,5% dopo che i ricercatori di NVIDIA hanno aggiunto 500 miliardi di token di addestramento intermedio e poi applicato lo stesso fine-tuning supervisionato. Il risultato proviene da un articolo scientifico presentato ad arXiv il 15 ottobre, che illustra una ricetta con un contesto da 256K per preparare i modelli linguistici a operare come agenti di programmazione. Anche un modello Nemotron più grande è migliorato su un benchmark di compiti software più lunghi, sebbene gli autori sottolineino che i test riguardano soltanto la famiglia di modelli di NVIDIA.
Una nuova fase tra pretraining e fine-tuning
L’articolo scientifico, “Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe”, descrive una fase di addestramento aggiuntiva tra il pretraining e l’addestramento successivo. I ricercatori sostengono che il pretraining standard usa spesso contesti più brevi e comprende poche interazioni degli agenti, mentre i dati per il fine-tuning supervisionato tendono a essere sintetici. La fase di addestramento intermedio espone maggiormente il modello ai materiali e ai flussi di lavoro con cui si confrontano gli agenti di programmazione: repository, pull request, cronologie dei commit, log di compilazione e tracce d’uso degli strumenti.
Le sessioni di addestramento usano una finestra di contesto di 256.000 token e centinaia di miliardi di token di addestramento. Nella combinazione da 500 miliardi di token, circa il 41% proviene da dati relativi a issue e pull request, il 20% da repository, il 10% da tracce degli agenti, il 3% da dati sulle differenze nel codice e l’1,2% da log di compilazione e integrazione continua. Il resto consiste nella riproposizione di dati di pretraining e in altro materiale a contesto lungo. NVIDIA afferma di filtrare i dati in base alle licenze, rimuovere i segreti e verificare eventuali sovrapposizioni con SWE-bench e Terminal-Bench.
Lightning guadagna 3,8 punti su SWE-bench Verified
Per Nemotron 3.5 Lightning, i ricercatori hanno confrontato il modello di partenza con checkpoint addestrati su un massimo di 500 miliardi di token di addestramento intermedio, applicando poi a ciascuno lo stesso ciclo completo di fine-tuning. Su SWE-bench Verified, il punteggio è salito dal 60,7% al 64,5%; su SWE-bench Multilingual, dal 55,8% al 62,8%. Su SWE-bench Pro è passato dal 32,0% al 35,5%.
I miglioramenti non sono stati uniformi in tutte le misure. Gli autori riferiscono che i punteggi su SWE-bench Verified e Pro sono migliorati sensibilmente già con 100 miliardi di token di addestramento intermedio, mentre quello su Multilingual ha continuato a crescere con quantità di token maggiori. I risultati su Terminal-Bench erano più variabili e hanno raggiunto il picco a 300 miliardi di token, anziché a 500 miliardi. Questi valori sono risultati pass@1 ottenuti con la configurazione di valutazione dell’articolo, non una garanzia che un modello raggiunga le stesse prestazioni in altri ambienti.
Le tracce degli agenti contano più del solo codice naturale
La ricetta combina normali artefatti software con una quota minore di traiettorie degli agenti. Queste tracce mostrano i modelli mentre agiscono tramite strumenti, verificano le modifiche e reagiscono agli errori. In uno studio di ablazione, l’addestramento su dati software naturali senza tracce degli agenti ha prodotto miglioramenti molto più modesti su SWE-bench Verified dopo il fine-tuning; la combinazione completa ha ottenuto risultati migliori, portando gli autori a concludere che le tracce hanno contribuito in misura sostanziale ai miglioramenti.
L’articolo riferisce inoltre che, in un esperimento, l’addestramento sulle risposte degli strumenti — gli output restituiti dall’ambiente dopo che un agente ha chiamato uno strumento — ha peggiorato i risultati. In una sessione da 100 miliardi di token sul checkpoint Lightning più piccolo, la versione addestrata sui turni dell’assistente ha ottenuto il 37,8% su SWE-bench Verified, contro il 27,5% quando le risposte degli strumenti erano incluse nella funzione di perdita. La ricetta dei ricercatori addestra quindi il modello sulle azioni dell’assistente e sulle chiamate agli strumenti, ma non sugli output degli strumenti stessi.
«Abbiamo testato la ricetta solo sui modelli Nemotron, non su altre famiglie di modelli, e principalmente sulla programmazione agentica».
Soumye Singhal et al., “Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe”
Super migliora nei compiti di lunga durata, ma con alcuni limiti
Su Nemotron 3.5 Super, 280 miliardi di token di addestramento intermedio hanno portato il punteggio su DeepSWE dall’11,7% al 15,7% dopo un identico ciclo completo di fine-tuning. Il punteggio su SWE-bench Verified è passato dal 72,9% al 74,3%. I risultati del modello più grande suggeriscono che il metodo possa trasferirsi tra due modelli Nemotron di dimensioni diverse, ma non dimostrano che funzionerà su altre architetture di modelli.
Gli autori individuano ulteriori limiti: ogni confronto sui benchmark si basa su una sola sessione e differenze di uno o due punti potrebbero dipendere dalla variabilità tra una sessione e l’altra. Non hanno confrontato l’addestramento intermedio con l’impiego dello stesso numero di token per prolungare il pretraining o il fine-tuning. Le loro valutazioni usano inoltre una combinazione di dati per il fine-tuning incentrata sugli agenti, anziché una combinazione per l’addestramento successivo di uso generale, e i risultati dell’apprendimento per rinforzo restano limitati perché le sessioni sul modello più grande richiedevano troppe risorse di calcolo. L’articolo offre una ricetta di addestramento dettagliata, ma le prove più solide restano circoscritte a due modelli Nemotron e ai test sugli agenti di programmazione riportati.