ReTerm: addestramento al recupero per agenti da terminale che si migliorano autonomamente

Abstract degli autori

Gli agenti da terminale hanno dimostrato notevoli capacità nei compiti di programmazione complessi. Tuttavia, durante le esecuzioni prolungate spesso faticano a riprendersi dagli errori, come quelli nei comandi o nelle implementazioni, e finiscono per non portare a termine il compito. Per affrontare questo problema presentiamo ReTerm, un agente da terminale che si migliora autonomamente imparando a recuperare dai propri compiti falliti. Per addestrarlo, realizziamo una pipeline di dati personalizzata e produciamo ReTerm-10K, un dataset di alta qualità che fornisce esempi efficaci di recupero per il cold start dell’SFT. Proponiamo inoltre ReTerm-GRPO, un algoritmo di apprendimento per rinforzo online che crea diramazioni a partire dagli stati di fallimento dell’agente per generare più tentativi indipendenti di recupero. Imparando se questi tentativi riescono o meno a completare il compito, l’agente si migliora grazie alla propria esperienza di recupero. Basato su Qwen3.5-9B, il nostro ReTerm-9B raggiunge un Pass@1 del 34,8% su Terminal-Bench 2.0, superando il modello di base di 14,6 punti. Ulteriori analisi mostrano che il nostro metodo ottiene tassi di recupero costantemente più elevati rispetto all’addestramento GRPO standard in diverse categorie di errori. Tutto il codice, i dati e il modello sono disponibili all’indirizzo https://github.com/twothsnd/ReTerm.