Distillazione on-policy con rollout di una policy negativa

Abstract degli autori

La distillazione on-policy (OPD) è stata ampiamente studiata come metodo di post-addestramento in cui un modello studente riceve da un modello insegnante più potente una supervisione a livello di token sui rollout che genera. Studi recenti hanno migliorato l’OPD con formulazioni alternative della ricompensa di distillazione e diverse configurazioni del modello insegnante, mentre l’obiettivo della distillazione resta quello di imitare quest’ultimo. Tuttavia, quando le distribuzioni di un modello insegnante più potente e dello studente si sovrappongono solo in misura limitata, queste indicazioni positive possono fornire segnali di apprendimento insufficienti. In questo lavoro presentiamo Negative-Policy OPD (NP-OPD), che integra la supervisione del modello insegnante con rollout generati da una policy negativa dalle prestazioni e dalle capacità inferiori, usata come riferimento negativo per lo studente. Anziché modificare la formulazione della ricompensa di distillazione, NP-OPD introduce la policy negativa nella fase di generazione dei rollout, fornendo continuamente token che la policy negativa preferisce rispetto al modello insegnante, affinché restino esposti alla supervisione di quest’ultimo per tutto l’addestramento. In questo modo, i rollout della policy negativa forniscono un segnale negativo esplicito, senza rinunciare alla supervisione positiva del modello insegnante usata nell’OPD. Attraverso numerosi esperimenti, mostriamo che NP-OPD migliora l’OPD su diverse scale dei modelli, modalità di generazione, ambiti di ragionamento e varianti dell’OPD. Le nostre analisi mostrano inoltre che NP-OPD sopprime efficacemente i token che la policy negativa preferisce rispetto al modello insegnante e allontana lo studente dalla policy negativa. Questi risultati sostengono la nostra scelta di introdurre segnali negativi attraverso i rollout della policy negativa e offrono nuove indicazioni sul ruolo della policy che genera i rollout nell’OPD. Il codice sarà disponibile all’indirizzo https://github.com/naver-ai/np-opd.