Una prospettiva sull’OPD basata sull’apprendimento per rinforzo: Least Square Policy Distillation per un ragionamento degli LLM efficiente nell’uso dei campioni

Abstract degli autori

Studiamo la distillazione on-policy (OPD) dal punto di vista dell’apprendimento per rinforzo, stabilendo un collegamento tra l’obiettivo basato sulla KL inversa nell’OPD e l’ottimizzazione delle politiche regolarizzata tramite KL. Su questa base, introduciamo Least-Square Policy Distillation (LSPD), un approccio ispirato all’apprendimento per rinforzo che porta nella distillazione delle politiche l’esplorazione ottimistica e il riutilizzo dei dati off-policy propri dell’apprendimento per rinforzo basato sul valore. LSPD preserva la diversità delle politiche attraverso l’esplorazione e, al tempo stesso, migliora l’efficienza dei rollout apprendendo ripetutamente da traiettorie raccolte in precedenza. La nostra analisi teorica collega LSPD all’apprendimento ottimistico basato sul valore e mostra che la sua formulazione idealizzata ottiene un limite stretto al regret pari a $\tilde{\mathcal O}(\log K)$ con esplorazione online. Sul piano empirico, LSPD supera sistematicamente i metodi di riferimento esistenti per la distillazione in sei benchmark di ragionamento matematico e in diverse configurazioni insegnante-studente, con un miglioramento medio di +1,59 punti in Avg@16. In particolare, nelle valutazioni Pass@k fino a k=64, abbiamo riscontrato che LSPD preserva meglio la diversità delle politiche, ottenendo prestazioni superiori al crescere di k. La sua variante interamente off-policy raggiunge prestazioni paragonabili a quelle dell’OPD di base usando soltanto il primo 25% dei batch di rollout. Nel complesso, questi risultati offrono una prospettiva sull’OPD basata sull’apprendimento per rinforzo che ne fornisce sia un’interpretazione fondata su principi teorici sia un percorso pratico verso una distillazione dei modelli linguistici più efficace ed efficiente nell’uso dei rollout.