FC-SWE: apprendimento per rinforzo condizionato dal fallimento per agenti di ingegneria del software a lungo orizzonte

Abstract degli autori

L’ingegneria del software (SWE) a livello di repository è un contesto impegnativo a lungo orizzonte: gli agenti devono ragionare nel corso di interazioni prolungate, usare strumenti e adattarsi ad ambienti dotati di stato. Lavori recenti addestrano gli agenti SWE con metodi di apprendimento per rinforzo come Group Relative Policy Optimization (GRPO), che campionano indipendentemente più traiettorie per ogni problema, testano le patch risultanti e confrontano le ricompense finali all’interno di un gruppo fisso. Questa impostazione di addestramento, tuttavia, non riutilizza come contesto per i tentativi successivi il feedback del verificatore sulle patch fallite, nonostante contenga preziose informazioni diagnostiche su ciò che è andato storto. Addestrare gli agenti su traiettorie di recupero è difficile perché l’esito del tentativo precedente determina se la traiettoria successiva viene generata, mentre l’esecuzione fallita determina il contesto da cui essa dipende. Presentiamo FC-SWE, un framework di apprendimento per rinforzo condizionato dal fallimento che integra i tentativi di recupero nell’addestramento della policy. Quando una patch non supera la verifica, FC-SWE ripristina il repository allo stato originale del task e usa la patch fallita e il feedback del verificatore come contesto per una traiettoria di recupero. FC-SWE adatta GRPO a queste catene di traiettorie complete, articolate in più turni e basate sull’uso di strumenti, mediante due meccanismi. Le ricompense locali a ciascuna traiettoria preservano l’esito della verifica di ogni tentativo, impedendo che il successo del recupero ricompensi una patch precedente che aveva fallito. La stima del vantaggio basata sull’insieme attivo forma un gruppo di confronto con tutte le traiettorie iniziali e di recupero effettivamente eseguite per lo stesso problema: i tentativi falliti rimangono quindi nel gruppo, mentre quelli non eseguiti ne sono esclusi. Su tutti i 500 task di SWE-bench Verified, con un protocollo assistito da un verificatore, FC-SWE con Qwen3.5-4B e SWE-agent ottiene il 41,7% di Resolved@1 e il 52,8% di Resolved@2, contro il 38,9% e il 48,5% di GRPO. Pur essendo stato addestrato con un massimo di due tentativi per catena, FC-SWE raggiunge il 70,7% di Resolved@11 con un budget di undici tentativi in fase di test.