Il disallineamento dei dataset conta nella Group Relative Policy Optimization per l’apprendimento per rinforzo da ricompense verificabili

Abstract degli autori

Negli ultimi tempi, l’apprendimento per rinforzo da ricompense verificabili (RLVR) ha una notevole importanza pratica; l’approccio principale è la Group Relative Policy Optimization (GRPO), che deve tipicamente trovare un compromesso tra l’efficienza dei rollout e le prestazioni nelle fasi successive. Per migliorare l’efficienza senza sacrificare le prestazioni, i metodi esistenti di rollout selettivo sfruttano soprattutto le dinamiche di addestramento sul lato sorgente per ottimizzare la distribuzione discreta sui prompt sorgente. Nella pratica, però, il dataset di addestramento sorgente raramente ha la stessa distribuzione del dataset di test target. In presenza di una simile discrepanza, per vincoli legali o di privacy, di solito non è accettabile condividere con chi addestra RLVR i prompt target stessi. Il proprietario dei dati target può comunque fornire un feedback aggregato limitato, ricavato da un piccolo insieme di dati target tenuto da parte, senza rivelare i prompt target né le tracce dei rollout. In questo articolo proponiamo il learning-to-reweight rollout (L2RR), che integra esplicitamente in GRPO il feedback sulle prestazioni sul lato target. In particolare, L2RR apprende una distribuzione discreta di campionamento sui prompt sorgente ottimizzando un obiettivo a due livelli che massimizza l’accuratezza su un dataset target tenuto da parte, penalizzando al contempo i rollout che forniscono poche informazioni aggiuntive per l’apprendimento. Gli studi empirici condotti su sei benchmark di ragionamento matematico e tre scale di modelli mostrano che L2RR migliora le prestazioni nel dominio target e aumenta l’efficienza dei rollout.