Più metodi, agenti migliori? Una verifica alla prova dei fatti sull’autodistillazione nell’apprendimento per rinforzo agentico

Abstract degli autori

L’autodistillazione nell’apprendimento per rinforzo agentico ha dato origine a un numero crescente di metodi. Tuttavia, le valutazioni esistenti spesso riutilizzano i punteggi pubblicati per i metodi di riferimento, ottenuti in condizioni sperimentali diverse, offrono pochi confronti diretti tra metodi sviluppati nello stesso periodo e dedicano scarsa attenzione alla stabilità dell’addestramento e al costo computazionale. Questi limiti rendono difficile capire da dove derivino i miglioramenti riportati e quali siano, nella pratica, i punti di forza e di debolezza dei metodi concorrenti. L’alto costo dell’addestramento degli agenti rende ancora più utile una base comune di confronto. Per colmare queste lacune, confrontiamo dieci metodi rappresentativi con GRPO su ALFWorld, ScienceWorld, Search-QA e WebShop, usando modelli di tre dimensioni diverse. Il nostro studio comprende 132 esecuzioni di addestramento, per un totale di 12.124,4 ore di GPU H800 registrate, con valutazioni ripetute su otto seed di rollout per i modelli di base preaddestrati e per tutti gli undici metodi addestrati. Oltre alle prestazioni finali nei compiti, esaminiamo l’andamento dell’addestramento, la stabilità e il costo computazionale misurato. La nostra valutazione porta a tre risultati principali. Primo, i miglioramenti rispetto a GRPO restano circoscritti: nessun metodo lo supera sistematicamente nelle diverse condizioni. Secondo, prestazioni finali elevate possono nascondere un addestramento instabile. Terzo, un costo di addestramento maggiore non si traduce sistematicamente in prestazioni migliori. Definiamo questo benchmark per favorire confronti equi ed esaustivi e orientare la ricerca futura verso miglioramenti affidabili ed efficienti in termini di costi nell’addestramento degli agenti. Pagina del progetto: https://aim-uofa.github.io/Self-Distillation-AgentRL/