SERO: apprendere da continuazioni eseguibili di un oracolo per l’apprendimento per rinforzo agentico su orizzonti lunghi

Abstract degli autori

L’apprendimento per rinforzo agentico su orizzonti lunghi è limitato dagli sviluppi futuri esplorati dalla policy corrente. Quando le traiettorie generate non raggiungono comportamenti utili, neppure una migliore attribuzione del merito può fornire segnali di supervisione per stati e azioni mai incontrati. La distillazione on-policy (OPD) introduce la guida di un modello insegnante negli stati generati dalla policy, e recenti varianti multi-turno migliorano il modo in cui questa guida viene programmata, riprodotta, perfezionata o convalidata. Tuttavia, non usano direttamente il futuro controllato dall’oracolo come traiettoria di addestramento. Presentiamo \textbf{State-Rooted Executable Rollout Optimization (SERO)}, che integra l’apprendimento per rinforzo agentico on-policy con continuazioni eseguibili dell’oracolo. SERO ripristina uno stato effettivamente raggiunto dalla policy corrente e lascia che un oracolo impiegato solo durante l’addestramento continui a interagire con l’ambiente reale, rendendo disponibili per l’apprendimento sia le osservazioni successive sia le azioni dell’oracolo. Applica poi la \textbf{policy-reachability weighting}, che pondera ogni passo dell’oracolo in base alla compatibilità della policy comportamentale congelata con le precedenti azioni dell’oracolo. Questo consente alla supervisione sui passi più avanzati di diventare efficace man mano che la policy diventa più compatibile con il ramo dell’oracolo. La funzione di perdita relativa all’oracolo viene ottimizzata separatamente dallo stimatore di base dell’apprendimento per rinforzo e, durante l’inferenza, non si usa alcun oracolo. Valutiamo SERO su due impegnativi benchmark per agenti interattivi, ALFWorld e WebShop, usando Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct. Su ALFWorld, apprendere l’intera continuazione eseguibile è molto più efficace che applicare la supervisione alla sola azione iniziale dell’oracolo, mentre la ponderazione in base alla raggiungibilità da parte della policy migliora ulteriormente le prestazioni fuori distribuzione.