Ripensare il trasferimento delle differenze relative tra policy nella distillazione on-policy

Abstract degli autori

La distillazione on-policy (OPD) addestra una policy bersaglio sui rollout da essa stessa generati, usando la supervisione a livello di token di un modello insegnante più capace. In genere, però, presuppone che quest’ultimo sia nettamente più capace della policy bersaglio. Studi recenti allentano questo requisito trasferendo la differenza relativa tra la policy di un esperto e una policy di riferimento, anziché la distribuzione assoluta dell’esperto. Resta tuttavia da chiarire quali differenze forniscano una supervisione utile e quali policy bersaglio possano trarne beneficio. Proponiamo una prospettiva unificata in cui il logaritmo del rapporto tra le probabilità di un esperto proxy e di un riferimento proxy definisce una ricompensa implicita per l’ottimizzazione della policy regolarizzata con KL. Questa formulazione induce un aggiornamento on-policy della policy bersaglio, comprende l’OPD convenzionale come caso particolare e consente il trasferimento tra qualsiasi coppia di modelli che differiscano per scala, fase di addestramento o generazione. I nostri esperimenti sistematici portano a tre risultati. Primo, un esperto più capace non è necessariamente una fonte migliore di supervisione: le differenze prodotte dall’addestramento specifico per un compito, compresi l’apprendimento per rinforzo e il fine-tuning supervisionato, si trasferiscono con regolarità, mentre quelle dovute soltanto alla scala del modello si trasferiscono poco o per nulla. Secondo, l’esperto e il riferimento svolgono ruoli complementari: l’esperto fornisce la capacità da trasferire, mentre il riferimento filtra il comportamento condiviso e isola la differenza residua rilevante. Terzo, anche una differenza utile non si trasferisce a ogni policy bersaglio: perché il trasferimento riesca, l’aggiornamento indotto deve avvicinare la policy bersaglio all’esperto e generalizzare oltre i rollout campionati. La distanza grezza tra le policy non permette di prevedere la trasferibilità, mentre un riferimento appropriato può rendere efficace un trasferimento che altrimenti non riuscirebbe. Questi risultati chiariscono quando le differenze relative tra policy forniscono una supervisione efficace per l’OPD.