I benchmark per gli agenti di programmazione dovrebbero rispecchiare i flussi di attività dei loro utenti

Abstract degli autori

La valutazione degli agenti di programmazione punta in genere a essere il più realistica possibile. Nel nostro studio raccogliamo 4.782 sessioni di agenti utilizzati da ingegneri del software reali negli IDE JetBrains, che chiamiamo Production Sessions. Poiché ci occupiamo di agenti interattivi, esaminiamo le sessioni con almeno tre messaggi dell’utente, pari al 33% del campione. Queste sessioni lunghe differiscono dalle attività dei benchmark derivate dalle segnalazioni per due aspetti: (i) le richieste degli utenti comprendono una gamma molto più ampia di attività — domande sul codice del progetto, pianificazione, revisione, refactoring, esecuzione — e (ii) gli utenti passano da una tipologia all’altra nel corso della sessione. Campioni di sessioni lunghe tratti da tre raccolte pubbliche di interazioni mostrano flussi di attività nettamente diversi, per durata delle sessioni, tipologie di attività e transizioni tra tipologie. Nessuna singola distribuzione delle interazioni, quindi, è universalmente realistica: i benchmark dovrebbero indicare un caso d’uso di riferimento e calibrarsi sulle misurazioni ricavate da esso. Presentiamo SWE-TaskFlow, un approccio per trasformare qualsiasi benchmark derivato dalle segnalazioni: conserva le attività e i test verificati, orientando al contempo l’interazione verso un flusso di attività di riferimento mediante la suddivisione dei prompt e domande e risposte verificabili sul repository, con un TaskFlow Alignment Score (TFAS) per scegliere tra le traiettorie generate. In uno studio pilota su 700 attività di SWE-Bench Pro, risolvere un’attività in più passaggi successivi raddoppia all’incirca il costo dell’agente senza una variazione stabile del tasso di risoluzione: il protocollo di interazione è di per sé una dimensione importante della valutazione.