SWE-at-Scale: sintesi scalabile di problemi a partire da correzioni di bug passate

Abstract degli autori

Man mano che gli agenti di programmazione diventano più capaci, per valutarli in modo affidabile serve una disponibilità più ampia e diversificata di task verificabili di ingegneria del software (SWE). I task tratti dal mondo reale, tuttavia, sono limitati dalla frequenza con cui i problemi vengono segnalati e dal costo considerevole della selezione manuale. Inoltre, gli approcci sintetici esistenti si basano soprattutto sulle conoscenze acquisite dai modelli di grandi dimensioni durante il preaddestramento, abbinate a prompt euristici, e spesso non riescono a riprodurre i meccanismi autentici e complessi dei malfunzionamenti del software. Per aumentare in modo esponenziale la produzione di task SWE, presentiamo SWE-at-Scale, un framework che sintetizza automaticamente problemi realistici mediante l’ingegneria inversa delle correzioni apportate a software reali. La nostra intuizione fondamentale è che le correzioni passate racchiudono una conoscenza approfondita dei meccanismi di formazione dei bug: invertire una correzione trasforma la supervisione per la riparazione in supervisione per l’introduzione di bug, fondata su scenari di sviluppo reali. SWE-at-Scale trasferisce gli schemi di bug così appresi a nuovi contesti di codice, campionando ripetutamente diverse tipologie di bug per costruire task SWE eseguibili. Numerosi esperimenti mostrano che SWE-at-Scale genera task SWE più diversificati e realistici rispetto agli attuali metodi di riferimento per la sintesi, ponendo al tempo stesso sfide maggiori agli agenti di programmazione più avanzati. In particolare, SWE-at-Scale può generare tipi di bug distinti a partire da un unico contesto di codice, e la diversità dei bug cresce in modo consistente anche fino a 200 generazioni per file. Nel complesso, SWE-at-Scale trasforma un insieme finito di correzioni tratte dal mondo reale in supervisione riutilizzabile per la sintesi scalabile di task SWE realistici, diversificati e impegnativi.