SWE-Trail: raccolta di traiettorie guidata dalla cronologia per l’addestramento di agenti di programmazione

Abstract degli autori

Gli agenti di programmazione risolvono i problemi nei repository attraverso lunghe sequenze di esplorazione, modifica e convalida. Queste traiettorie vengono sempre più spesso usate come dati per il post-training, perciò il modo in cui vengono raccolte influenza ciò che apprende il modello addestrato. Un approccio comune consiste nel campionare in modo indipendente più traiettorie per ciascun problema e poi selezionarle o curarle. Tuttavia, man mano che aumenta il numero di traiettorie campionate in modo indipendente, quelle successive diventano sempre più ridondanti, anche se quelle precedenti potrebbero orientare la scelta di come impiegare gli sforzi di raccolta successivi. Un modo naturale per usare questa cronologia è mostrarla all’agente di programmazione come consiglio. Ma addestrare il modello su traiettorie di questo tipo può indurlo a fare affidamento su consigli che non saranno disponibili al momento del test, creando una discrepanza tra addestramento e test. Sosteniamo invece che la cronologia dovrebbe orientare la scelta di come impiegare gli sforzi di raccolta, lasciando all’agente di programmazione la decisione su cosa generare. Presentiamo SWE-Trail, un sistema di raccolta di traiettorie che usa quelle precedenti per orientare la raccolta successiva, mantenendo però la cronologia fuori dal contesto dell’agente di programmazione. Durante un nuovo rollout, SWE-Trail usa la cronologia per individuare uno stato in cui potrebbe essere utile dedicare ulteriori sforzi alla raccolta. A quel punto, l’agente di programmazione propone possibili azioni successive a partire dal proprio contesto ordinario e SWE-Trail le esegue brevemente a partire dallo stesso checkpoint per decidere quale percorso proseguire. Valutiamo gli approcci alla raccolta addestrando modelli studente sulle traiettorie che producono. Per un modello studente da 124B inizializzato a partire da Ling-3.0-flash-base, SWE-Trail migliora il tasso medio di risoluzione rispetto al campionamento indipendente di 2,33 e 1,60 punti percentuali, rispettivamente su SWE-bench Multilingual e SWE-bench Pro. Senza cronologia, la stessa pipeline produce più traiettorie risolte del campionamento indipendente, ma il miglioramento sul Multilingual è di soli 0,11 punti. Questi risultati mostrano il valore di usare la cronologia per orientare la raccolta senza esporla all’agente di programmazione.