RSIPO: ottimizzazione ricorsiva delle politiche con auto-miglioramento per l’apprendimento per rinforzo agentico tramite la coevoluzione delle competenze e delle politiche

Abstract degli autori

La ricerca recente sull’apprendimento per rinforzo agentico (RL) punta a migliorare l’attribuzione del merito nei compiti a lungo termine. Una direzione promettente combina l’apprendimento per rinforzo con ricompense verificabili (RLVR) e l’autodistillazione on-policy (OPSD), integrando i vantaggi a livello di traiettoria con una supervisione capillare a livello di token. In questo filone di ricerca, un modello docente riceve spesso un contesto privilegiato, come le competenze agentiche, per attribuire un punteggio ai token generati dalla politica dello studente. Nonostante i progressi, questi approcci trascurano in larga misura l’evoluzione on-policy delle competenze agentiche e l’affidabilità della supervisione del modello docente. A questo scopo, introduciamo Recursive Self-Improving Policy Optimization (RSIPO), un framework di apprendimento per rinforzo agentico capace di evolvere autonomamente, che consente alle competenze agentiche e al modello di politica di coevolvere durante l’intero addestramento. In particolare, RSIPO permette alla politica stessa di estrarre competenze dalle traiettorie completate e ne ottimizza esplicitamente la capacità di generarle tramite la riproduzione delle traiettorie. Impiega inoltre la contrazione bayesiana empirica per calibrare dinamicamente la fiducia dello studente nei punteggi del modello docente, tenendo conto del fatto che le indicazioni del docente arricchite dalle competenze possono talvolta essere meno affidabili. Esperimenti con modelli della famiglia Qwen su compiti agentici di interazione incarnata e basati sulla ricerca mostrano che RSIPO supera tutti gli approcci di riferimento confrontati. Usando Qwen2.5-7B come modello di base, RSIPO raggiunge su ALFWorld un tasso medio di successo del 98,6\%, con miglioramenti assoluti di 2,5\% e 17,4\% rispetto, rispettivamente, al secondo miglior approccio di riferimento e al GRPO standard.