Apprendimento on-policy o off-policy? Uno studio sistematico delle dinamiche della distillazione

Abstract degli autori

Si è sostenuto che l’apprendimento on-policy riduca la dimenticanza catastrofica, produca aggiornamenti dei parametri più sparsi e migliori la generalizzazione. Tuttavia, i confronti esistenti tra fine-tuning supervisionato e apprendimento per rinforzo variano simultaneamente molti fattori, rendendo difficile isolare il contributo della policy di rollout. Studiamo l’effetto della policy di rollout in un contesto controllato di distillazione da un modello forte a uno debole, variando indipendentemente la policy di rollout, la direzione della KL a livello di token e il tasso di apprendimento nelle famiglie di modelli Llama3 e Qwen2.5 e in compiti di ragionamento che spaziano dagli ambiti scientifico e medico a quello aritmetico. La nostra analisi rivela un quadro articolato delle dinamiche della distillazione, in cui la policy di rollout non svolge necessariamente un ruolo centrale. È invece la direzione della KL a livello di token a influenzare più nettamente le prestazioni nei compiti e la copertura degli output, mentre il tasso di apprendimento determina la dimenticanza e la sparsità degli aggiornamenti. L’analisi dei gradienti della KL e gli esperimenti lungo uno spettro continuo di policy di rollout dallo studente al docente spiegano questo andamento: la KL diretta è notevolmente robusta rispetto alla policy di rollout, con prestazioni stabili ed elevate nonostante i cambiamenti di tale policy, mentre la KL inversa è molto più sensibile e favorisce i rollout generati dallo studente. I dati on-policy migliorano comunque la generalizzazione a varianti più difficili del compito aritmetico Countdown con entrambe le direzioni della KL, sebbene questo vantaggio non persista in modo affidabile dopo il successivo RLVR. Le nostre conclusioni più generali restano valide anche eliminando il gradient clipping, usando stimatori della KL basati su campioni e addestrando i modelli su compiti che richiedono catene di ragionamento più lunghe. Nel complesso, i nostri risultati mettono in discussione l’idea che i rollout on-policy siano intrinsecamente preferibili e mostrano che il loro valore dipende in modo cruciale dall’obiettivo, dal contesto di valutazione e dagli iperparametri di ottimizzazione.