AgentSWE: gli agenti di programmazione possono costruire l’agente che vuoi davvero?

Abstract degli autori

Mentre la produzione di software passa nelle mani del software stesso, agli agenti di programmazione viene sempre più spesso affidato il compito di costruire agenti adatti ai flussi di lavoro dei loro utenti. Questa delega si fonda su un presupposto tacito: che l’agente consegnato soddisfi davvero il requisito per cui è stato costruito, anziché limitarsi a darne l’impressione. Nessun benchmark esistente verifica questo presupposto. Presentiamo AgentSWE, un benchmark per l’ingegneria del software degli agenti che copre tre fasi del loro ciclo di sviluppo: la creazione di un agente completo a partire da un requisito espresso in linguaggio naturale, la modifica delle basi di codice di agenti in produzione e l’ottimizzazione verso un obiettivo misurabile. Ognuno dei suoi 25 compiti è formulato come un incarico, non come un esame: chi costruisce l’agente procede per iterazioni su pochi casi illustrativi, mentre la verifica di accettazione mette alla prova la versione consegnata, senza possibilità di modificarla, su casi non visti progettati per coprire l’intero requisito. Il comportamento viene valutato in base a criteri derivati dal requisito, con soglie rigide di superamento o bocciatura, oppure, per l’ottimizzazione, in base all’obiettivo del benchmark di partenza. Valutando diversi agenti di programmazione con modelli e ambienti di esecuzione differenti, scopriamo che nessuno si avvicina a consegnare ciò che un requisito richiede: il divario tra ciò che l’agente costruttore dimostra e ciò che consegna è la norma, non un caso limite. Un’analisi empirica delle sequenze che portano al fallimento individua modalità di errore ricorrenti, tra cui l’overfitting sui casi visibili, runtime privi di sostanza dietro codice apparentemente completo e dichiarazioni di completamento non suffragate da prove: ciascuna è un segnale da cui gli agenti di programmazione possono imparare a costruire gli agenti che viene loro chiesto di realizzare.