Gli agenti possono progettare librerie per altri agenti?

Abstract degli autori

Gli agenti si basano sempre più spesso sul codice scritto da altri agenti e tendono a reimplementare funzionalità anziché riutilizzarle, facendo crescere le basi di codice con cui gli agenti successivi devono lavorare. Per misurare quanto gli agenti siano capaci di progettare librerie per altri agenti, presentiamo LibraryDesignBench, un benchmark in due fasi in cui un agente realizza una libreria completa a partire da una specifica che definisce le funzionalità richieste e i potenziali casi d’uso senza prescriverne la progettazione. Valutiamo la libreria in base alla correttezza e alla semplicità dei programmi scritti da tre agenti utilizzatori appartenenti a diverse famiglie di modelli. Il benchmark comprende 242 problemi di programmazione convalidati da esperti, distribuiti su 15 compiti di progettazione di librerie in quattro linguaggi. In undici dei quindici compiti, gli agenti progettisti riproducono le astrazioni della libreria usata in produzione e scritta da esseri umani. Gli agenti che usano le librerie adottano sia quelle scritte da agenti sia quelle scritte da esseri umani, ma le sfruttano meno di quanto potrebbero, reimplementando funzionalità già disponibili. La nostra analisi degli insuccessi rileva che questi agenti scrivono codice aggiuntivo soprattutto perché le librerie scritte da agenti sono rigide o difficili da usare, non perché manchino delle funzionalità. Sperimentiamo anche indicazioni più prescrittive per i progettisti, pensate innanzitutto per gli agenti, e facciamo testare loro le librerie con sottoagenti: questo migliora i punteggi ottenuti a valle e produce programmi più semplici. LibraryDesignBench offre sia un banco di prova per valutare le pratiche di progettazione delle librerie destinate agli agenti, sia un primo riferimento progettuale che ne migliora il riutilizzo a valle.