SWE-Shift: valutare gli agenti di programmazione in spazi di lavoro in evoluzione

Abstract degli autori

I benchmark di programmazione a livello di repository presuppongono in gran parte che i compiti e gli ambienti rimangano invariati durante l’esecuzione. Nello sviluppo software, il codice, le dipendenze, lo stato di esecuzione e i requisiti possono cambiare mentre un agente è ancora al lavoro. Presentiamo SWE-Shift, un benchmark per valutare gli agenti di programmazione quando si verificano cambiamenti durante l’esecuzione. A partire dalla stessa cronologia salvata e dallo stesso spazio di lavoro, una prosecuzione Clean procede senza interventi, mentre una prosecuzione Shifted abbinata riceve un aggiornamento pertinente al compito. Per avere successo occorre completare il compito in corso, preservare il lavoro ancora valido e superare le verifiche applicabili dello stato e delle evidenze. Il benchmark comprende 120 scenari appartenenti a 12 famiglie di cambiamenti, ciascuno valutato in nove posizioni di intervento prestabilite. Valutiamo 17 sistemi di agenti di programmazione, tutti con un tasso di successo inferiore nelle prosecuzioni Shifted rispetto alle Clean. GPT-6 Astra scende dal 67,35% al 24,79%, con un successo appaiato del 20,34%. I cambiamenti relativi agli strumenti o alla sessione e le evidenze obsolete producono un successo appaiato pari a zero per tutti i sistemi. Nelle posizioni di intervento più tardive, il successo appaiato è inferiore per alcuni sistemi e superiore per altri. Questi risultati mostrano che il successo in un compito rimasto invariato può coesistere con l’incapacità di preservare il lavoro, ripristinare lo stato o aggiornare le evidenze dopo un cambiamento.