S3AC: actor-critic stabilizzato, selettivo e scalabile per il ragionamento degli LLM

Abstract degli autori

I metodi senza critico sono ampiamente usati nell’apprendimento per rinforzo con ricompense verificabili (RLVR) per il ragionamento con lunghe catene di pensiero (CoT), perché evitano il difficile e costoso addestramento del critico. Le alternative più comuni non attribuiscono il merito ai singoli token e, in genere, si affidano a rollout raggruppati per stimare valori di riferimento specifici per ciascun prompt. Un critico può superare entrambi i limiti, ma il suo addestramento su lunghe CoT è ostacolato da una copertura insufficiente di traiettorie di diversa lunghezza e da gradienti iniziali dominati dalla testa del valore appena inizializzata. Presentiamo S3AC (Stabilized, Selective, and Scalable Actor-Critic) per il ragionamento degli LLM, basato su una procedura pratica per addestrare il critico. Il critico addestrato fornisce vantaggi specifici per token e valori di riferimento specifici per prompt. Usando il valore di riferimento a livello di prompt per stimare la difficoltà, proponiamo Difficulty-Aware Prompt Sampling (DAPS). DAPS combina questa stima con lo storico dei risultati per selezionare i prompt prima della generazione, riducendo gli sprechi nei rollout senza un’inizializzazione offline della difficoltà. S3AC migliora le prestazioni con rollout raggruppati su modelli densi e mixture-of-experts da 1,5 a 397 miliardi di parametri, superando una variante moderna di GRPO (GRPO-X). Con 35 miliardi di parametri, mantiene l’addestramento con un solo rollout, mentre i metodi di riferimento senza critico sottoposti a test peggiorano dopo i miglioramenti iniziali.