PR-OPD: autodistillazione on-policy delle rappresentazioni privilegiate per l’apprendimento per rinforzo degli agenti

Abstract degli autori

Gli agenti basati su modelli linguistici vengono di solito addestrati tramite apprendimento per rinforzo usando una sola ricompensa per episodio. L’autodistillazione privilegiata arricchisce questo segnale consentendo alla stessa policy, quando dispone di una competenza, di insegnare alla propria versione priva di quella competenza attraverso le probabilità dei token. Individuiamo però due fenomeni che mettono in discussione questo canale. Vantaggio invisibile: una competenza fornita nel contesto porta il tasso di successo su WebShop dal 42,2% al 56,2%, ma modifica le probabilità di meno di un quarto dei token campionati. Molto da allineare: una competenza modifica gli stati nascosti di oltre l’80% dei token della risposta, in un modo che sonde lineari possono ricondurre alla competenza specifica. Per sfruttare questi risultati, proponiamo Privileged Representation On-policy Self-Distillation (PR-OPD). Dopo un warm start con GRPO, la policy scrive una competenza a posteriori per ogni traiettoria, rilegge le proprie risposte usando quella competenza come insegnante con stop-gradient e allinea, a ogni livello, i propri stati nascosti proiettati a quelli dell’insegnante, accanto all’obiettivo di ricompensa. Non servono una libreria esterna di competenze, un insegnante separato né risorse aggiuntive in fase di inferenza. Su ALFWorld e WebShop, con due backbone, PR-OPD ottiene i migliori risultati complessivi in ogni configurazione, superando GRPO fino a 4,7 punti nel tasso di successo su ALFWorld e a 14,0 punti nell’accuratezza su WebShop. Il codice è disponibile all’indirizzo https://github.com/balibata/PR-OPD.