$Δτ$-Bench: spingere gli agenti verso una capacità in evoluzione

Abstract degli autori

In questo articolo presentiamo $Δτ$-Bench, un benchmark eseguibile per agenti che riproduce l’evoluzione strutturale di grandi ecosistemi di strumenti. In $Δτ$-Bench, servizi che evolvono indipendentemente gli uni dagli altri modificano continuamente il modo in cui si possono svolgere i compiti: strumenti familiari possono scomparire o essere sostituiti, mentre emergono alternative più efficienti tra funzionalità sovrapposte e documentazione confusa. Di fronte a questa frontiera delle capacità in evoluzione, valutiamo se gli agenti siano in grado di individuare proattivamente percorsi efficienti nell’uso degli strumenti e di aggiornare tempestivamente le conoscenze procedurali accumulate, combinando esigenze che i benchmark esistenti non esaminano. $Δτ$-Bench comprende 1.588 compiti con più turni, convalidati, in 42 ambiti e sei stati successivi dell’ecosistema generati mediante trasformazioni che preservano le capacità. La nostra valutazione mostra che persino il modello o il sistema di orchestrazione più efficace tra quelli valutati riesce a completare solo il 42,3% dei compiti, mentre i vantaggi iniziali dei metodi esistenti di apprendimento delle skill non si traducono sistematicamente in un migliore adattamento man mano che l’ecosistema evolve. Questi risultati motivano Steward, un gestore dell’ecosistema che amministra congiuntamente strumenti e conoscenze procedurali attraverso la manutenzione incrementale delle skill e la predisposizione dinamica durante l’esecuzione dei compiti. Gli esperimenti mostrano che Steward mantiene una percentuale di successo più elevata nei compiti attraverso i cambiamenti dell’ecosistema, con un minore onere di manutenzione delle skill, e migliora sia il recupero dei flussi di lavoro interrotti sia l’adozione di alternative più efficienti.