Distillazione on-policy con ramificazioni

Abstract degli autori

La distillazione on-policy (OPD) fornisce la supervisione dell’insegnante sulle traiettorie generate dallo studente, ma una singola traiettoria segue una sola continuazione per ogni decisione, limitando la copertura della supervisione quando il budget di campionamento è finito. Proponiamo BranchOPD (Branching On-Policy Distillation), che individua punti decisionali informativi in base all’incertezza dello studente e alle divergenze tra insegnante e studente, campiona nuove continuazioni della policy dello studente a partire da prefissi condivisi e applica la supervisione dell’insegnante a livello di token sia alle traiettorie principali sia alle ramificazioni. BranchOPD opera sulle decisioni a livello di token in matematica e sulle decisioni all’interno di un turno nei compiti degli agenti. Il riutilizzo dei prefissi condivisi riduce il costo in token generati dallo studente di circa il 19% su ALFWorld e il 31% su WebShop rispetto a sette traiettorie indipendenti. Introduciamo inoltre la riparazione ai confini del protocollo (PBR), che impiega una supervisione mirata nel rispetto dei vincoli del protocollo per ridurre le ripetizioni e la generazione superflua. BranchOPD supera Vanilla OPD e Multi-Rollout OPD (n=7) in tutti i benchmark valutati, con un vantaggio rispetto a Vanilla OPD di 18,55 punti percentuali nell’accuratezza media in matematica su 16 risposte campionate (avg@16) e di 13,8 punti nel tasso medio di successo ID/OOD su ALFWorld. Le analisi dei meccanismi e gli studi di ablazione sulla selezione mostrano che ramificare in corrispondenza delle decisioni incerte amplia la copertura dei comportamenti successivi e dà risultati migliori della selezione casuale e della ramificazione all’inizio del turno.