ProAS: un framework per modulare i vantaggi in base ai progressi nell’apprendimento per rinforzo agentico a più turni

Abstract degli autori

L’apprendimento per rinforzo (RL) si è affermato come paradigma principale per ottimizzare gli agenti basati su modelli linguistici di grandi dimensioni (LLM). Tuttavia, gli algoritmi efficienti privi di critico (per esempio GRPO) presentano un problema fondamentale di attribuzione uniforme del merito: assegnano lo stesso vantaggio, calcolato a livello di traiettoria, a tutte le azioni. La nostra analisi mostra che questa uniformità rafforza inevitabilmente le azioni strutturalmente irragionevoli nelle traiettorie preferite e ignora le deviazioni a valle di ciascuna azione in quelle non preferite. Per risolvere il problema senza introdurre il sovraccarico legato a un critico, proponiamo Progress-Aware Advantage Shaping (ProAS), un framework integrabile che sfrutta un Agentic Reference Graph (ARG) in evoluzione dinamica per attribuire il merito in modo più granulare tramite Masking Unreasonable Incentives (MUI) e Asymmetric Penalty Redistribution (APR). Ampi esperimenti con Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct dimostrano che ProAS porta tutti i principali metodi di riferimento basati su gruppi a prestazioni che stabiliscono un nuovo stato dell’arte, raggiungendo tassi di successo massimi rispettivamente del 91,9% e del 94,3% su ALFWorld e del 66,7% e del 70,8% su WebShop. Inoltre, accelera la convergenza dell’addestramento fino a $2.44\times$, mantenendo una forte robustezza anche con ARG imperfetti o distillati. Codice: https://github.com/LINs-lab/ProAS