miniTE: diagnosticare e colmare il divario di esecuzione nell’apprendimento per rinforzo nativo con NVFP4

Abstract degli autori

NVFP4 nativo promette di accelerare l’apprendimento per rinforzo (RL) dei modelli linguistici di grandi dimensioni (LLM), ma ottenere un apprendimento stabile con motori distinti per l’addestramento e il campionamento resta difficile. Mostriamo che far coincidere i pesi del modello e i formati numerici non basta a garantire una valutazione coerente della policy: conta anche il modo in cui i diversi motori eseguono i calcoli numerici. Presentiamo miniTE, un framework leggero che combina strumenti diagnostici per l’esecuzione, allineamento numerico tra motori e calcolo GEMM nativo ed efficiente in W4A4 (pesi e attivazioni a 4 bit) per l’RL degli LLM. Migliora la coerenza dell’esecuzione numerica senza modificare l’obiettivo dell’RL e riduce il lavoro necessario per implementarlo, così da sfruttare i vantaggi del calcolo nativo a bassa precisione. Esperimenti di RL su orizzonti lunghi con Qwen3-30B-A3B mostrano un addestramento stabile e prestazioni nei benchmark vicine a BF16, con una qualità della valutazione superiore a quella di un’implementazione ingenua di Transformer Engine (TE) NVFP4. Su un singolo nodo GPU NVIDIA B300, il componente ottimizzato per l’apprendimento raggiunge 33.540 token/s: per gli aggiornamenti completi, il suo throughput è pari rispettivamente a 1,39 e 1,47 volte quello di BF16 e TE NVFP4. Abbiamo reso disponibili il framework, i kernel, gli strumenti diagnostici e le configurazioni di addestramento per facilitare l’RL nativo a bassa precisione.