ProgramDistill: dalle applicazioni web interattive a task SWE verificabili guidati da applicazioni di riferimento

Abstract degli autori

Gli agenti di coding vengono generalmente valutati sulla base di comportamenti desiderati specificati tramite segnalazioni o istruzioni. Nello sviluppo web reale, però, gli agenti potrebbero dover dedurre il comportamento di un software funzionante e implementarlo in un’applicazione incompleta. Presentiamo ProgramDistill, un benchmark che valuta gli agenti di coding su funzionalità individuate interagendo con applicazioni di riferimento pienamente funzionanti. Costruiamo ProgramDistill scomponendo le applicazioni in funzionalità di diversa granularità, ciascuna associata a comportamenti riproducibili ed eseguibili tramite la relativa patch di riferimento. La nostra pipeline, mine-craft-patch, individua 1.975 comportamenti verificati mediante riproduzione in 26 applicazioni e costruisce 4.063 task senza intervento umano. Tra nove agenti di coding all’avanguardia, GPT-6 Astra e Claude Opus 5 raggiungono rispettivamente il 49,2% e il 28,8% di successo nei flussi di lavoro cumulativi della ricostruzione di applicazioni complete. Nella ricostruzione parziale delle applicazioni, il successo scende dal 100% al 64,0% e dal 96% al 32% quando la profondità del ripristino aumenta da 1 a 8. ProgramDistill offre quindi un benchmark scalabile, con un livello di difficoltà controllato, per valutare gli agenti di coding e diagnosticarne le difficoltà, oltre a costituire una base naturale per un futuro addestramento basato su un curriculum.