The Pulse
NeMo-DCR riduce da 87,5 minuti a 150 secondi la sincronizzazione delle policy da 1T
Un articolo pubblicato il 6 ottobre descrive NeMo-DCR, un metodo per sincronizzare le policy aggiornate nell’apprendimento per rinforzo agentico. Gli autori riferiscono che il refit di un modello da mille miliardi di parametri richiede 150
AI.info Team · Scritto con l’IA ·
Il trasferimento di un checkpoint completo per un modello da 1 bilione di parametri richiede 87,5 minuti tra due regioni AWS; il metodo NeMo-DCR dichiara di completare lo stesso refit della policy in 150 secondi. La differenza conta per l’apprendimento per rinforzo agentico, in cui una policy appena addestrata deve raggiungere i cluster di rollout prima che possa iniziare il batch successivo. In un articolo presentato ad arXiv il 6 ottobre, otto autori propongono di inviare le modifiche anziché ritrasmettere l’intero modello.
I checkpoint completi sono il termine di confronto più oneroso
L’apprendimento per rinforzo agentico spesso separa l’addestramento dal rollout: un cluster aggiorna la policy, mentre un altro genera le esperienze usate per addestrarla. Ogni aggiornamento deve essere sincronizzato tra i cluster. Secondo l’articolo, le misurazioni dell’addestramento in BF16 mostrano che circa l’1% dei pesi cambia il proprio valore memorizzato a ogni passaggio: ciò suggerisce che trasferire un checkpoint completo comporti lo spostamento di molti più dati di quanti ne richieda la maggior parte degli aggiornamenti.
Inviare soltanto i valori modificati, però, non basta. Secondo gli autori, gli approcci precedenti possono presentare carenze nel corretto posizionamento dei valori, nell’esattezza a livello di bit o nell’efficienza del trasferimento, e non consentono un recupero completo dai guasti durante un refit. Il loro metodo è progettato per affrontare questi problemi conservando il risultato di un trasferimento completo.
NeMo-DCR invia le differenze senza alterare i bit memorizzati
NeMo-DCR, abbreviazione di Delta-Compressed Refit, proietta le modifiche dai frammenti usati nell’addestramento nelle coordinate canoniche del checkpoint e usa il caricatore nativo dell’ambiente di esecuzione che serve il modello per collocarle sul lato ricevente. Rappresenta alcune modifiche come maschere XOR e per altre invia valori da sovrascrivere. I destinatari applicano gli aggiornamenti direttamente; i nuovi tentativi sovrascrivono le scritture parziali e un commit congiunto collega la nuova policy alla sua versione di base per l’aggiornamento successivo.
«Presentiamo NeMo-DCR (Delta-Compressed Refit), che invia soltanto le modifiche ma garantisce l’esattezza a livello di bit: i destinatari ottengono gli stessi bit dei parametri e dei buffer che otterrebbero con un refit completo.»
Songlin Jiang et al., «NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale»
Per il trasporto, gli autori descrivono l’invio in streaming dei dati tramite uno spazio di archiviazione a oggetti o un albero di relay mentre vengono costruite le differenze, evitando un’operazione collettiva tra cluster. Il compromesso centrale del progetto riguarda la precisione: punta a ridurre i dati trasferiti senza cambiare gli esatti bit dei parametri e dei buffer ricevuti dal modello.
L’accelerazione è un risultato dell’articolo, non una garanzia per ogni implementazione
Gli autori riferiscono che i refit per modelli da 30 miliardi a 1 bilione di parametri sono da 12 a 40 volte più rapidi rispetto a un trasferimento di riferimento di un checkpoint completo, considerando il solo trasporto, con tassi di modifica del 3% e del 5%. Per un modello 1T con un tasso di modifica del 3%, il test con l’albero di relay richiede 150 secondi, contro gli 87,5 minuti di un trasferimento completo. Il dato dell’1% relativo alle modifiche in BF16 è una misurazione distinta riportata nell’articolo, non il tasso di modifica usato per quel risultato principale.
Queste cifre sono risultati sperimentali dichiarati dagli autori, non una valutazione indipendente né una promessa degli stessi tempi in ogni implementazione. L’abstract non fornisce informazioni sufficienti per generalizzare il risultato dei 150 secondi a hardware, condizioni di rete o configurazioni per servire il modello differenti. I team interessati al metodo dovrebbero valutare il percorso effettivo del trasferimento e la gestione dei guasti nei propri cluster.
Il codice è collegato da NVIDIA NeMo RL
L’articolo rimanda al codice in una pull request del repository NeMo RL di NVIDIA. La pull request, integrata il 19 luglio 2026, descrive un trasferimento opzionale dei pesi con compressione delle differenze per il refit collettivo di vLLM su cluster non collocati e indica Amazon S3 o ZeroMQ come backend di trasporto. La voce del repository offre un contesto utile sull’implementazione, ma il risultato dei 150 secondi per un modello da 1 bilione di parametri va inteso come un risultato riportato nell’articolo, non come un benchmark generale della pull request integrata.
Per i sistemi distribuiti di apprendimento per rinforzo, l’affermazione concreta è più circoscritta di un generico «aggiornamenti dei modelli più rapidi»: nella configurazione descritta nell’articolo, NeMo-DCR trasferisce l’aggiornamento di una policy 1T in 150 secondi con un tasso di modifica del 3%, conservando i bit prodotti da un refit completo.