The Pulse
NVIDIA spiega gli strumenti di Dynamo per i rollout nell’apprendimento per rinforzo
NVIDIA descrive come Dynamo instrada i rollout nell’apprendimento per rinforzo, distribuisce i pesi aggiornati del modello e gestisce i guasti dei worker. L’azienda riporta anche dati sulle prestazioni dei clienti per ModelExpress, tra cui aggiornamenti dei pesi fino a 15 volte più rapidi presso CoreWeave.

NVIDIA afferma che il suo livello di serving Dynamo può ridurre i ritardi nell’addestramento con apprendimento per rinforzo instradando le richieste al modello, distribuendo i pesi aggiornati e ripristinando il servizio in caso di guasti dei worker. In un post tecnico del 19 novembre, l’azienda ha descritto come gli strumenti gestiscono il lavoro di inferenza usato per generare campioni di addestramento e ha riportato dati sulle prestazioni dei clienti per il componente di distribuzione ModelExpress.
Perché i rollout rallentano l’addestramento
Nell’apprendimento per rinforzo, i worker generano rollout: sequenze di output del modello, azioni e interazioni con un ambiente. Il framework di addestramento valuta questi risultati, aggiorna i pesi del modello e li invia di nuovo ai worker per un altro ciclo.
I rollout variano a seconda dell’attività, rendendo il carico di lavoro disomogeneo. Un rollout di ragionamento può consistere in una sola risposta, mentre un rollout di un agente di programmazione può includere l’esplorazione di un repository, la modifica di file, l’uso di strumenti e l’esecuzione di test.
Quando un passaggio di addestramento richiede un gruppo di campioni, il rollout richiesto più lento può ritardare il passaggio successivo. Distribuire un numero uguale di richieste tra le GPU non significa necessariamente distribuire il lavoro in modo uniforme.
Un’altra fonte di lavoro è il contesto ripetuto: i tentativi di eseguire la stessa attività possono iniziare con le stesse istruzioni, la stessa descrizione dell’attività o lo stesso contesto del repository. I worker hanno anche bisogno di pesi aggiornati in base ai requisiti dell’algoritmo di addestramento per il campionamento e per l’obsolescenza accettabile.
Instradamento e aggiornamenti dei pesi
Dynamo si colloca tra il software che coordina i rollout e i worker di inferenza che li generano. Il framework di apprendimento per rinforzo invia le richieste, Dynamo le instrada verso la capacità idonea e i motori di inferenza eseguono il modello.
Il framework resta responsabile dell’ottimizzazione, dei premi, degli ambienti, dei checkpoint e della decisione su quali campioni accettare. Dynamo gestisce l’instradamento, la gestione dei worker, i controlli del serving e la telemetria, mentre ModelExpress distribuisce pesi e artefatti del modello tramite integrazioni supportate.
Le richieste passano attraverso un front-end di serving condiviso, ma le operazioni di aggiornamento dei pesi vengono indirizzate a worker selezionati sotto il controllo del framework. Il framework determina quando i worker possono generare campioni e se i risultati soddisfano i requisiti di addestramento.
Secondo NVIDIA, il router di Dynamo bilancia il riutilizzo della cache KV con il carico dei worker. Inviare le richieste a un worker che ha in cache un prompt condiviso può evitare di elaborarlo di nuovo, ma inviare tutte le richieste a quel worker può creare una coda.
ModelExpress riutilizza i pesi già presenti nel cluster invece di caricarli da uno storage remoto. I worker compatibili possono copiare i pesi direttamente da un’altra GPU tramite NIXL. Per gli aggiornamenti successivi, il trasferimento dei delta invia una rappresentazione compressa delle modifiche invece del modello completo; i worker ricostruiscono i nuovi pesi a partire dalla versione di base corrispondente.
Guasti e risultati riportati
Dynamo rileva la perdita di un worker, indirizza le nuove richieste verso worker idonei e aggiunge i sostituti all’instradamento quando sono pronti. Le configurazioni supportate consentono anche la migrazione delle richieste idonee già in corso e un drenaggio ordinato. Il framework di addestramento gestisce i campioni interrotti e verifica che i worker sostitutivi abbiano i pesi necessari.
Un worker sostitutivo può caricare un checkpoint e applicare i delta successivi per riallinearsi al ciclo di addestramento. I worker funzionanti possono continuare a generare rollout mentre viene ripristinata la capacità.
NVIDIA afferma che CoreWeave usa Dynamo e ModelExpress per velocizzare fino a 15 volte gli aggiornamenti dei pesi del modello. L’azienda riporta anche che H Company li ha usati per ridurre fino al 20% il tempo medio di un passaggio di addestramento e fino al 5% le ore-GPU.
Le integrazioni open source collegano Dynamo agli stack di apprendimento per rinforzo verl, NeMo RL, Slime e prime-rl. Il post indica inoltre Microsoft AI, Cognition e Prime Intellect come utilizzatori di Dynamo nei flussi di lavoro di apprendimento per rinforzo.
Fonti
- Fonte originale · Post del blog NVIDIA Technical Blog developer.nvidia.com
Aziende in questa notizia
Notizie correlate
- Google illustra un addestramento per rinforzo con corrispondenza bit per bit su 64 chip TPU
- NVIDIA mette in vendita il kit per sviluppatori DGX Spark a quattro nodi
- Le partecipazioni di Nvidia in società private raggiungono i 65,5 miliardi di dollari, riferisce TechCrunch
- NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training
- RadixArk lancia DaisyRose-27B e rivendica una maggiore efficienza nel post-training