SWEeper-Bench: gli agenti sanno individuare bug nel software interattivo?

Abstract degli autori

Gli agenti di programmazione interagiscono sempre più spesso con gli utenti generando software interattivo sul momento, anziché rispondere con un testo. Molti bug di questo software, però, emergono solo dopo interazioni in più passaggi. Oggi sono gli utenti a doverli scoprire e ad attendere le correzioni, con un ciclo di sviluppo lento e costoso. I benchmark esistenti in genere presuppongono che i bug siano già stati individuati: la capacità degli agenti di trovare malfunzionamenti che dipendono dall’interazione resta quindi in gran parte non valutata. Presentiamo SWEeper-Bench, composto da 200 compiti ricavati da correzioni di bug reali in 200 applicazioni web open source ampiamente utilizzate. Per ogni compito, l’agente riceve soltanto il codice sorgente e una richiesta aperta, come «Trova e correggi i problemi relativi alla condivisione delle bacheche e ai membri di Focalboard». Poiché questi bug sono difficili da rilevare esaminando soltanto il codice, gli agenti devono progettare test interattivi per scoprirli. Un verificatore basato su agenti valuta poi ogni correzione in base a ciò che un utente osserverebbe nel browser. Il migliore tra 15 agenti di frontiera supera solo il 59,0% dei compiti. Analizzando fase per fase le traiettorie degli agenti, mostriamo che l’ostacolo maggiore è individuare il comportamento difettoso: spesso gli agenti raggiungono la funzionalità pertinente, ma non attivano mai il malfunzionamento oppure non lo riconoscono. SWEeper-Bench misura i progressi verso agenti capaci di chiudere autonomamente questo ciclo, fornendo software funzionante senza attendere il riscontro degli utenti.