Che cosa migliora davvero l’apprendimento per rinforzo multi-turno negli agenti LLM?

Abstract degli autori

Sebbene l’apprendimento per rinforzo (RL) agentico multi-turno eccella nei compiti a orizzonte lungo, i suoi miglioramenti prestazionali restano molto sensibili ai vincoli di interazione. Valutando l’ampiezza del campionamento $K$ e la profondità dell’interazione $T$ tramite $Pass@(K,T)$, mostriamo che i vantaggi dell’RL a livello di traiettoria dipendono da budget di turni sufficienti e si riducono significativamente quando i budget si restringono. Inoltre, l’RL agentico non migliora in modo uniforme la qualità delle decisioni a singolo passo; i suoi punti di forza si concentrano piuttosto nel recupero dagli errori e nella resilienza su orizzonti lunghi. Per mitigare i rischi di implementazione causati da questa dipendenza dai budget, proponiamo una discussione preliminare sui benefici e sui limiti dei segnali di supervisione del processo e presentiamo BudgetMix RL come alternativa che varia i budget di interazione durante l’addestramento. Gli esperimenti dimostrano che BudgetMix RL ottiene prestazioni robuste in diverse configurazioni di esecuzione. Pagina del progetto: https://rethinking-agentic-rl.github.io/