Terminal-RSI: agenti per terminale che si automigliorano ricorsivamente tramite Recursive Self-Rewrite e Policy-Refine

Abstract degli autori

Per gli agenti per terminale è fondamentale trasformare gli esiti delle verifiche in aggiornamenti utili delle policy e i progressi parziali nella risoluzione completa dei compiti. Presentiamo Terminal-RSI, che alterna Recursive Self-Rewrite (RSR) delle traiettorie verificate e Recursive Policy-Refine (RPR), che eredita il modello critico. Formuliamo Turn-Boundary Skip-Observation GAE (TB-GAE) per conservare valori di riferimento specifici per token applicando al contempo un decadimento tra i turni di interazione. Family Dense Reward (FDR) calibra il progresso semantico tra famiglie di compiti; Success-Prioritized Reward (SPR) distingue il successo secondo criteri rigorosi dal credito parziale limitato. Un Warm-up Critic Model, il passaggio ricorsivo del modello critico e tassi di apprendimento specifici per fase coordinano le due fasi di perfezionamento. La sequenza di cinque fasi, dal modello base Qwen3.8-27B attraverso RSR-1, RPR-1, RSR-2 e RPR-2, produce Terminal-RSI-27B: 19,84% su Terminal-Bench 4.0, 86,52% su Terminal-Bench 2.1, 16,95% su Terminal-Bench 3.0 e 79,00% su Terminal-Bench Hard. Su LHTB, la ricompensa di processo sale da 0,21 a 0,37 e il numero di compiti completati secondo criteri rigorosi passa da 0/46 a 5/46; il tasso di successo su SWR100 raddoppia, dal 3,00% al 6,00%. Associando ricorsivamente la riscrittura delle traiettorie verificate al perfezionamento delle policy che eredita il modello critico, ogni fase mantenuta consolida i comportamenti scoperti e fa progredire gradualmente l’agente dalle correzioni locali parziali alla verifica finale secondo criteri rigorosi.