Agent-Reflex: insegnare agli agenti linguistici ad agire in modo riflessivo

Abstract degli autori

I modelli linguistici di grandi dimensioni si sono evoluti da chatbot capaci di gestire un solo scambio ad agenti interattivi in grado di ragionare su orizzonti lunghi. Nelle applicazioni reali, i servizi di strumenti MCP possono restituire feedback contenenti rumore e gli utenti possono intervenire per correggere l’agente, ma i metodi esistenti offrono una supervisione limitata per l’apprendimento della riflessione e il recupero dopo un errore. Per colmare questa lacuna, proponiamo Agent-Reflex, un framework di addestramento generale che incentiva gli agenti a riflettere in modo proattivo. Agent-Reflex si articola in tre fasi. Nella prima, Environment Reflection Skill Discovery (RSD) introduce perturbazioni del feedback degli strumenti ancorate al contesto nell’espansione degli ambienti, campiona un insieme di LLM con capacità diversificate, individua coppie abbinate di successi e fallimenti e sintetizza metacompetenze di riflessione riutilizzabili. A partire da questa raccolta di competenze, applichiamo poi Reflective Supervised Fine-Tuning (ReSFT), che trasforma ciascuna competenza in supervisione per l’autoriflessione, il recupero delle competenze e la correzione centrata sull’utente, rafforzando comportamenti riflessivi complementari. Infine, proponiamo On-Policy Reflective Policy Optimization (ORPO), che combina l’apprendimento per rinforzo degli agenti in interazioni con rumore e la distillazione on-policy guidata dalla riflessione, per stimolare ulteriormente la riflessione proattiva. Basato su Qwen3-8B, Agent-Reflex raggiunge un punteggio complessivo di 58,6 su cinque benchmark di uso degli strumenti su orizzonti lunghi e di 29,1 su AgentNoiseBench, superando solide baseline basate sull’espansione degli ambienti e sulla riflessione. Gli esperimenti condotti su sei impegnative suite di benchmark per agenti dimostrano l’efficacia di Agent-Reflex. Ulteriori analisi mostrano che Agent-Reflex migliora la robustezza degli agenti al rumore mantenendo stabile la dinamica di addestramento, a sostegno di un addestramento degli agenti scalabile. Il nostro codice è disponibile all’indirizzo https://github.com/RUC-NLPIR/Agent-Reflex.