WideSWE: gli agenti di programmazione sanno coordinare le modifiche tra repository?

Abstract degli autori

La valutazione degli agenti di programmazione è passata dalla risoluzione di singoli problemi allo sviluppo di lungo periodo, ma il completamento dei compiti viene ancora valutato in gran parte all’interno di un’unica base di codice. Negli ecosistemi software, molte funzionalità e correzioni di bug richiedono modifiche coordinate in più repository. Presentiamo WideSWE per valutare gli agenti di programmazione su compiti di questo tipo. L’analisi e la revisione delle modifiche in 103 ecosistemi software hanno prodotto 120 compiti tratti da casi reali, suddivisi equamente tra 60 correzioni di bug e 60 funzionalità. Ricaviamo i prompt dai problemi e dalle pull request pertinenti. Esaminiamo e adattiamo sistematicamente i test nascosti affinché ammettano diverse implementazioni corrette, preservando al contempo i comportamenti richiesti e i controlli contro le regressioni. Nelle sette configurazioni degli agenti, il tasso di completamento integrale dei compiti va dal 10,83% al 42,50%; la configurazione che abbina Codex CLI a GPT-5.6-sol ottiene il tasso più alto. Le traiettorie mostrano che gli agenti talvolta non individuano le modifiche necessarie, le individuano ma le lasciano incomplete, oppure modificano i repository richiesti senza soddisfare pienamente la richiesta. Per verificare se lavorare su un repository alla volta possa attenuare queste difficoltà, confrontiamo questo approccio con l’esecuzione congiunta, usando prompt identici. L’esecuzione indipendente permette soprattutto di recuperare il lavoro omesso ed è meno efficace nel correggere implementazioni già tentate ma non riuscite. L’esecuzione congiunta può sfruttare le informazioni provenienti da repository correlati per orientare l’implementazione e la verifica. Il codice è disponibile all’indirizzo https://github.com/ZJU-ACES-ISE/WideSWE.