ReGE: agenti più capaci grazie alla sintesi delle esperienze

Abstract degli autori

I tentativi ripetuti di svolgere compiti interattivi fanno emergere informazioni, operazioni utili e fallimenti che possono orientare le esecuzioni successive. Presentiamo ReGE, un framework che trasforma l’esperienza registrata in indicazioni per un nuovo tentativo. La sua implementazione principale, ReGE-Syn, usa una sola chiamata al coach per sintetizzare congiuntamente registrazioni di esecuzione di dimensioni limitate e artefatti disponibili in indicazioni autonome, collegando i risultati specifici del compito alle azioni proposte e alle criticità pertinenti. Un agente studente riparte dallo stato iniziale dell’ambiente del compito e adatta queste indicazioni alle osservazioni correnti. La generazione delle fonti, la sintesi e l’esecuzione da parte dell’agente studente usano lo stesso modello di base, senza aggiornamenti dei parametri né un modello insegnante più potente. Su quattro benchmark, ReGE migliora l’accuratezza in media di 9,9 punti percentuali per GPT e di 8,8 punti percentuali per Claude rispetto all’esecuzione senza indicazioni. Su sottoinsiemi comparabili di BrowseComp-Plus, ReGE-Syn riduce i token impiegati per costruire le indicazioni del 98,2\% su GPT e del 95,5\% su Claude rispetto ad adapted AggAgent, con successo riscontrato. I token complessivi per la costruzione delle indicazioni e l’esecuzione diminuiscono rispettivamente del 15,7\% e del 35,4\%, contando input e output ed escludendo la generazione delle fonti. Ulteriori analisi di ablazione su BrowseComp-Plus associano l’accesso alle informazioni sul processo a un minor numero di passaggi dell’agente studente e mostrano che la sintesi congiunta produce indicazioni notevolmente più brevi rispetto a Direct history o Independent summaries, con successo riscontrato. Questi risultati dimostrano come gli agenti possano usare la propria esperienza registrata per migliorare il completamento dei compiti successivi e suggeriscono un modo poco costoso per consolidare le registrazioni delle esecuzioni di sistemi ad agenti paralleli, come gli sciami di agenti.