TGRL: Temperature-Grouped Reinforcement Learning per un’esplorazione efficiente nei modelli linguistici di grandi dimensioni

Abstract degli autori

L’esplorazione efficiente resta spesso uno dei principali ostacoli nell’apprendimento per rinforzo con ricompense verificabili (RLVR). Sebbene il controllo della temperatura e le strategie di scaling in fase di test possano aumentare la diversità dei rollout dei modelli linguistici di grandi dimensioni (LLM), queste soluzioni aumentano il numero di campioni necessari nella fase di rollout oppure non quantificano i benefici dell’esplorazione. Per affrontare il problema, proponiamo Temperature-Grouped Reinforcement Learning (TGRL), che trasforma la diversità indotta dalla temperatura in un segnale esplicito per l’addestramento. Per ogni prompt, TGRL suddivide il relativo gruppo di rollout in due sottoinsiemi, uno a bassa temperatura e uno ad alta temperatura, stima il guadagno nell’esplorazione confrontandone le ricompense e assegna questo segnale a livello di gruppo come credito ai singoli token, usando la divergenza di Jensen--Shannon (JS) tra le corrispondenti distribuzioni del token successivo, scalate in base alla temperatura e generate dagli stessi logit. TGRL raggiunge la stessa accuratezza fino al 36% più rapidamente rispetto a solidi metodi di riferimento RLVR, senza aumentare il numero di rollout. Su 11 benchmark di ambiti diversi, TGRL ottiene ampi miglioramenti rispetto a questi metodi: migliora dell’1,6% la media dei sei benchmark di matematica a 32B, aumenta il rating su CodeForces di 196,7 punti e il Pass@16 su LiveCodeBench del 4,4%, e migliora i tassi di successo su ALFWorld/WebShop del 6,3%/4,9%. Analisi approfondite dei singoli componenti e dei tempi effettivi di esecuzione confermano l’efficacia di tutti i componenti proposti. Il codice è disponibile all’indirizzo https://github.com/1229095296/TGRL/tree/main.