The Pulse
Agent-Reflex addestra Qwen3-8B a riprendersi dai malfunzionamenti degli strumenti
Un articolo pubblicato su arXiv descrive Agent-Reflex, un metodo di addestramento in tre fasi che aiuta Qwen3-8B a riprendersi da risposte errate degli strumenti e correzioni degli utenti. Gli autori riportano un punteggio di 58,6 su cinque
AI.info Team · Scritto con l’IA ·
Il 13 ottobre alcuni ricercatori hanno presentato su arXiv Agent-Reflex, proponendo un metodo di addestramento per agenti linguistici che incontrano risposte errate degli strumenti o correzioni degli utenti durante un compito. Il loro sistema basato su Qwen3-8B ottiene un punteggio complessivo di 58,6 su cinque benchmark di uso degli strumenti per compiti di lunga durata e di 29,1 su AgentNoiseBench, secondo l’articolo.
Il lavoro affronta una debolezza pratica degli agenti che usano strumenti: portare a termine un compito quando i servizi funzionano come previsto è diverso dal riprendersi quando uno strumento non risponde entro il tempo previsto, restituisce informazioni fuorvianti o segnala un errore. Il metodo degli autori addestra la capacità di recupero, anziché affidarsi soltanto alla capacità dell’agente di valutare criticamente il proprio operato mentre è in funzione.
«Ulteriori analisi mostrano che Agent-Reflex migliora la robustezza degli agenti al rumore, mantenendo stabile l’andamento dell’addestramento e favorendo l’addestramento degli agenti su larga scala.»
Guanting Dong e coautori, autori dell’articolo
Dagli errori osservati a capacità di recupero riutilizzabili
Agent-Reflex si articola in tre fasi. Environment Reflection Skill Discovery, o RSD, costruisce ambienti eseguibili attorno a 557 temi relativi a servizi MCP molto utilizzati, introduce errori nelle risposte degli strumenti e confronta le esecuzioni riuscite e fallite degli agenti. Da questi confronti, i ricercatori ricavano regole riutilizzabili per gestire errori ricorrenti.
I dati di partenza comprendono 24.510 risposte errate su 177.700 risposte degli strumenti raccolte facendo eseguire nuovamente gli agenti su nove benchmark pubblici. Il gruppo suddivide gli errori in otto categorie e ricava 1.170 capacità di riflessione dai 557 ambienti. Per produrre sequenze di esecuzione da mettere a confronto, campiona nove modelli linguistici appartenenti a cinque famiglie di modelli, con un numero di parametri compreso tra 4 miliardi e 284 miliardi.
Tre tipi di correzione, poi l’addestramento on-policy
Nella seconda fase, Reflective Supervised Fine-Tuning (ReSFT) trasforma le capacità ricavate in esempi di tre comportamenti: diagnosticare e correggere un errore, riprendersi da un piano iniziale difettoso e rispondere alla correzione di un utente. Gli autori affermano di conservare solo le prosecuzioni che superano il verificatore dei compiti dell’ambiente. Negli esempi di autocorrezione e recupero, il prompt relativo alla capacità viene rimosso dall’input memorizzato, così il modello deve imparare il comportamento correttivo anziché dipendere dalla possibilità di vedere quelle indicazioni riservate al momento dell’utilizzo.
La terza fase, On-Policy Reflective Policy Optimization (ORPO), combina l’apprendimento per rinforzo su esecuzioni dei compiti prive di rumore e con rumore con un addestramento guidato dalla riflessione a livello di token. Le decisioni del modello vengono valutate sia con sia senza una capacità specifica per l’ambiente, e il segnale risultante attribuisce maggior peso ai token supportati da quella capacità. L’obiettivo è insegnare alla policy a scegliere azioni correttive durante le proprie esecuzioni, non soltanto a memorizzare esempi di correzioni riuscite.
I punteggi migliorano rispetto ad altri sistemi 8B addestrati
Sui cinque benchmark per compiti di lunga durata, Agent-Reflex ottiene una media complessiva di 58,6, contro 40,2 per Qwen3-8B, il modello di partenza, e 50,9 per EnvScaler-8B. I benchmark comprendono VitaBench, τ²-Bench, BFCL V4, ACEBench e Tool Sandbox. Il confronto non equivale ad affermare che Agent-Reflex superi tutti i modelli nella tabella: l’articolo riporta risultati complessivi superiori per Gemini 3 Pro, Claude-4.5-Sonnet e GPT-5.2.
Su AgentNoiseBench, Agent-Reflex ottiene un punteggio complessivo di 29,1, superiore al 25,9 riportato nell’articolo per NoisyAgent-8B e al 18,2 di EnvScaler-8B. Il benchmark mette alla prova sia le risposte degli strumenti contenenti rumore sia gli interventi degli utenti. Secondo l’articolo, né la classificazione del rumore né il sistema per introdurlo propri di AgentNoiseBench sono stati usati nell’addestramento; le perturbazioni sono state progettate in modo indipendente, quindi la valutazione misura la capacità di generalizzare a perturbazioni mai incontrate.
Una raccolta fissa di capacità richiede manutenzione
I risultati dell’articolo provengono da esperimenti su benchmark, non costituiscono prove di un miglioramento dei risultati nei servizi operativi. Gli autori individuano inoltre un vincolo di manutenzione: la raccolta di capacità viene ricavata offline da un’istantanea fissa e non si adatta automaticamente quando cambiano le interfacce degli strumenti, il comportamento dei servizi o le dinamiche degli ambienti. Per mantenerla al passo con questi cambiamenti potrebbero essere necessarie nuove estrazioni periodiche o altre attività di manutenzione.
Le prestazioni di Agent-Reflex dipendono quindi sia dalla policy appresa sia dal fatto che le sue capacità specifiche per l’ambiente restino pertinenti. Gli autori forniscono il codice insieme all’articolo, osservando che i cambiamenti nel comportamento degli strumenti possono rendere obsolete le regole di recupero ricavate.