Switch-SWE: gli agenti di programmazione mantengono la concentrazione quando passano da un’attività incompleta a un’altra?

Abstract degli autori

Le sessioni di sviluppo software spesso comprendono diverse attività incomplete, anziché un unico problema portato a termine. Man mano che gli agenti di programmazione si occupano dello sviluppo a livello di repository, devono recuperare i requisiti e i progressi parziali di un’attività precedente dopo aver lavorato nel frattempo su altro. I benchmark esistenti a livello di repository in genere valutano un singolo ciclo, dal problema alla patch, e non misurano direttamente se un agente è in grado di riprendere un’attività dopo aver portato avanti altri lavori incompleti nello stesso repository. Presentiamo \textbf{\ourmethod}, un benchmark per valutare la ripresa dell’attività di riferimento in sessioni che alternano attività incomplete provenienti dallo stesso repository di origine, mantenendo un checkout persistente per ciascuna attività. Ogni attività di riferimento viene valutata in sessioni abbinate, una senza interruzioni e una con passaggi tra attività, che presentano requisiti identici per l’attività di riferimento e verificatori eseguibili. La sessione con passaggi tra attività alterna fasi ordinate di altre attività incomplete nello stesso repository, mentre viene valutata soltanto la patch finale dell’attività di riferimento. \ourmethod~comprende 200 attività di riferimento provenienti da 19 repository Python, ricostruite a partire dalla cronologia di issue, pull request e revisioni e presentate in 400 specifiche di sessione abbinate. Su 7 agenti di programmazione, l’alternanza di attività incomplete comporta un divario medio di 11,5 punti percentuali nella risoluzione dell’attività di riferimento, con valori compresi tra 6,0 e 15,0 punti percentuali. L’analisi delle traiettorie individua la confusione tra i requisiti di attività diverse e la perdita dello stato dell’attività come comportamenti ricorrenti durante la ripresa. Presentiamo un modulo plug-in per la gestione del contesto, che seleziona la cronologia pertinente all’attività e mantiene riepiloghi concisi dello stato dell’attività. Su OpenCode, il modulo migliora il completamento dell’attività di riferimento di 5,5–15,5 punti percentuali nei modelli valutati, quando si passa da un’attività all’altra all’interno dello stesso repository. Il codice è disponibile su github.com/Miraclecsc/Switch-SWE.