CrossSWE: benchmark dello sviluppo congiunto tra repository per agenti di programmazione

Abstract degli autori

Man mano che gli agenti di programmazione raggiungono tassi di successo sempre più elevati nei benchmark di ingegneria del software, gli sforzi recenti hanno cercato di aumentare la complessità dei compiti estendendone la durata e richiedendo modifiche al codice più ampie. Tuttavia, lo sviluppo software nel mondo reale coinvolge spesso più repository interdipendenti, introducendo ulteriori difficoltà nel ragionamento sulle dipendenze, nella propagazione delle modifiche e nella coerenza delle interfacce. Invece di aumentare ulteriormente la complessità all’interno dei singoli repository, presentiamo CrossSWE, un benchmark per lo sviluppo congiunto tra repository composto da 171 casi reali che coprono 165 repository, 20 ambiti tecnici e 13 linguaggi di programmazione. CrossSWE verifica la necessità di modifiche coordinate valutando se modifiche parziali ai repository siano insufficienti per ottenere il comportamento desiderato. La nostra valutazione di cinque LLM rivela difficoltà notevoli: il modello più forte, GPT-6.1 Sol, raggiunge appena il 58,48% di Pass@1. Inoltre, le incoerenze tra repository emergono come la modalità di errore più frequente (44,2%), mettendo in evidenza la difficoltà di mantenere la coerenza tra repository interdipendenti.