DAEDALUS: costruire da zero la memoria degli agenti con compiti autogenerati

Abstract degli autori

Gli agenti basati su LLM spesso non dispongono delle conoscenze operative necessarie per agire in modo affidabile in ambienti nuovi, perché devono scoprire da soli il funzionamento specifico degli strumenti e le convenzioni dell’ambiente. Senza una memoria dei tentativi precedenti, ripetono gli stessi errori in compiti diversi, con un aumento degli insuccessi e percorsi di esecuzione più lunghi. Per affrontare il problema, i sistemi basati su agenti si affidano di norma a linee guida scritte da esseri umani oppure a una memoria procedurale costruita a partire da compiti di addestramento e da un verificatore oracolo: entrambe le soluzioni richiedono una conoscenza preliminare dell’ambiente. Presentiamo DAEDALUS, un metodo per costruire da zero una memoria riutilizzabile per gli agenti attraverso esercitazioni autogenerate, senza compiti preesistenti né verificatori oracolo. DAEDALUS abbina due agenti: un esploratore, che interagisce con l’ambiente per generare compiti impegnativi ma risolvibili, e un risolutore, che prova a svolgerli. Da ogni insuccesso del risolutore viene ricavata un’euristica, accettata solo dopo che il risolutore ottiene ripetutamente risultati positivi utilizzandola nel contesto. Questi esiti forniscono anche all’esploratore indicazioni per calibrare la difficoltà dei compiti successivi. Le euristiche accettate vengono poi consolidate in una raccolta di memoria da usare in fase di test. Su AppWorld, $τ^2$-bench e AutomationBench, DAEDALUS aumenta i tassi medi di successo fino a 15,9 punti e il pass^5 fino a 2,2 volte rispetto a un sistema di riferimento privo di memoria. Inoltre, è competitivo con i metodi che utilizzano compiti di addestramento, a un costo di inferenza inferiore rispetto alla maggior parte di essi. Mostriamo che i miglioramenti delle prestazioni emergono già con un budget di esplorazione ridotto e che le sue euristiche sono utili anche agli agenti di altre famiglie di modelli. I nostri studi di ablazione rivelano inoltre che le tracce di esecuzione del risolutore forniscono le informazioni fondamentali per ricavare euristiche efficaci, mentre la scomposizione delle prime scoperte in fattori rende l’esplorazione più efficiente in termini di costi. Oltre a servire per costruire la memoria, i compiti generati da DAEDALUS possono fungere da sostituti dei compiti dei benchmark quando si classificano i modelli in base alle prestazioni. Codice e materiali: www.github.com/illuin-tech/daedalus.