The Pulse
Il refit Reshard di NVIDIA ottiene un’accelerazione da 2,7 a 5,7 volte in diversi benchmark NeMo RL
NVIDIA afferma che il suo approccio Reshard trasferisce tra le GPU di addestramento e quelle di inferenza solo la quantità minima teorica di dati relativi ai pesi del modello. Nei benchmark NeMo RL, il refit Reshard ha ottenuto un’acceleraz
AI.info Team · Scritto con l’IA · verificato ·
NVIDIA afferma che il suo refit dei pesi basato su Reshard per l’apprendimento per rinforzo ha ottenuto un’accelerazione da 2,7 a 5,7 volte rispetto al refit convenzionale basato su gather-and-broadcast in diversi benchmark NeMo RL. I benchmark hanno riguardato i sistemi NVIDIA DGX H100 e DGX GB200. In un microbenchmark separato, dedicato al solo refit, il refit Reshard ha richiesto 4,3 secondi per il modello Qwen3.8 2.4T BF16.
Le implementazioni esistenti di refit gather-and-broadcast ricostruiscono comunemente i parametri completi
Durante il post-addestramento con apprendimento per rinforzo, le traiettorie di addestramento vengono generate al momento eseguendo l’inferenza con il modello di policy corrente. NVIDIA descrive una configurazione disaggregata in cui inferenza e addestramento vengono eseguiti in parallelo su risorse GPU separate. Le GPU di addestramento aggiornano la policy, mentre quelle di inferenza ricevono periodicamente i pesi più recenti; NVIDIA chiama questo trasferimento refit.
Addestramento e inferenza possono distribuire i pesi in modo diverso, perché hanno requisiti computazionali e mappature del parallelismo differenti. Le implementazioni di refit esistenti raccolgono comunemente gli shard locali sulle GPU di addestramento per ricostruire un parametro completo, trasmettono poi quel tensore alle GPU di inferenza e infine mantengono lo shard necessario a ciascuna GPU di inferenza. Secondo NVIDIA, il passaggio intermedio attraverso il tensore completo genera comunicazioni ridondanti sia nella fase di raccolta sia in quella di trasmissione.
NVIDIA stima che i 2800 miliardi di parametri di Kimi K3 corrispondano a circa 5,6 TB di pesi BF16, mentre i 2400 miliardi di parametri di Qwen 3.8 2.4T A95B corrispondano a circa 4,8 TB. Contando le fasi di all-gather e broadcast, il volume logico dei dati trasferiti è stimato in circa 11,2 TB per Kimi K3 e 9,6 TB per Qwen 3.8 2.4T A95B. Secondo l’azienda, per gli attuali modelli a pesi aperti più grandi il volume di dati trasferiti raggiunge circa 10 TB per refit.
Reshard mappa gli shard di origine su quelli di destinazione
NVIDIA concepisce il refit come un trasferimento tra due layout di tensori distribuiti PyTorch (DTensor). Ogni layout descrive la forma globale del tensore, la disposizione logica delle GPU e il modo in cui il tensore è suddiviso in shard o replicato tra di esse. Un’operazione Reshard riceve le descrizioni DTensor di origine e destinazione e trasferisce il tensore logico dalla distribuzione di origine a quella di destinazione.
Nell’esempio di NVIDIA, una matrice di pesi 8 per 8 è suddivisa per righe tra due GPU di addestramento e per colonne tra quattro GPU di inferenza. Ogni GPU di addestramento contiene uno shard 4 per 8 e ogni GPU di inferenza necessita di uno shard 8 per 2. Ciascuna destinazione può ottenere lo shard necessario ricevendo una regione 4 per 2 da ogni origine e assemblandolo senza ricostruire la matrice completa.
NVIDIA descrive NCCL M2N Reshard come un’implementazione di riferimento open source dell’operazione collettiva Reshard, disponibile nel repository GitHub NVIDIA/nccl-extensions. Trasferisce un tensore distribuito su M GPU di origine nel layout richiesto da N GPU di destinazione. Nel refit per l’apprendimento per rinforzo, le GPU di addestramento formano il gruppo di origine e quelle di inferenza il gruppo di destinazione.
NCCL M2N Reshard elimina i trasferimenti di rete ridondanti con scambi NVLink
NCCL M2N Reshard calcola le intersezioni esatte tra gli shard di origine e quelli di destinazione, quindi mappa tali trasferimenti sulla topologia fisica della rete di GPU. Raggruppa le repliche di destinazione all’interno dei domini NVIDIA NVLink e distribuisce i contributi in ingresso tra i rank delle repliche. Le GPU riceventi si scambiano i rispettivi sottoinsiemi tramite NVLink per assemblare gli shard completi.
In un esempio da TP4 a TP2 x DP2, NVIDIA afferma che i trasferimenti diretti punto a punto inviano ogni shard di origine attraverso la rete a entrambe le repliche in parallelo sui dati, richiedendo otto trasferimenti di rete. Reshard invia ciascuno dei quattro shard di origine una sola volta attraverso la rete, quindi usa scambi NVLink per completare le repliche. Secondo NVIDIA, i trasferimenti di rete e gli scambi locali sono eseguiti in pipeline per mascherare reciprocamente la latenza.
NeMo RL applica Reshard ai pesi di proiezione feed-forward
L’implementazione di riferimento di NVIDIA è fornita nel framework NeMo RL. Secondo NVIDIA, NeMo RL è un framework open source progettato per semplificare e rendere scalabile il post-addestramento con apprendimento per rinforzo. Il framework deve fornire descrizioni DTensor per ogni parametro nelle istanze di addestramento e di inferenza. NVIDIA afferma che la varietà di tipi di layer e di configurazioni di sharding rende difficile coprire tutti i casi limite con il solo Reshard.
La progettazione di NeMo RL di NVIDIA usa un approccio ibrido: i pesi di proiezione feed-forward usano Reshard, mentre tutti gli altri pesi di piccole dimensioni usano il gather-and-broadcast convenzionale. Secondo NVIDIA, i pesi di proiezione feed-forward rappresentano circa il 95% dei parametri negli LLM più recenti e costituiscono la maggior parte dei dati trasferiti durante il refit. L’azienda afferma che la progettazione ibrida mantiene la stessa copertura funzionale del refit convenzionale basato su gather-and-broadcast.
I benchmark NeMo RL riguardano diversi modelli sui sistemi NVIDIA DGX H100 e NVIDIA DGX GB200
Su NVIDIA DGX H100, la latenza del refit di Qwen 3 235B è stata di 6,4 secondi con gather-and-broadcast e di 1,9 secondi con Reshard. Per DeepSeek v3 671B sulla stessa piattaforma, la latenza è stata di 14,9 secondi con gather-and-broadcast e di 2,6 secondi con Reshard. NVIDIA ha testato entrambi i modelli con diversi layout di parallelismo tra addestramento e inferenza.
Su NVIDIA DGX GB200, la latenza del refit di DeepSeek v3 671B è stata di 6,1 secondi con gather-and-broadcast e di 2,3 secondi con Reshard. Nemotron Ultra v3 su DGX GB200 ha registrato una latenza di 8,2 secondi con gather-and-broadcast e di 2,3 secondi con Reshard. La guida al refit NeMo RL di NVIDIA e i requisiti di configurazione di NCCL Reshard descrivono i backend, i layout e le modalità di precisione supportati.