Gli agenti di programmazione possono evolversi continuamente senza dimenticare?

Abstract degli autori

Di recente, l’auto-evoluzione dell’harness è emersa come un paradigma importante per migliorare le prestazioni degli agenti. Studi precedenti mostrano che far evolvere l’harness dell’agente può potenziarne efficacemente le capacità senza modificare i parametri del modello fondazionale. Abbiamo rilevato che gli approcci esistenti studiano in larga misura l’evoluzione degli agenti su un singolo compito. Nella pratica, gli agenti di programmazione potrebbero dover gestire nel tempo più tipi di compiti. Resta una questione aperta importante se un harness possa evolversi continuamente attraverso più compiti senza incorrere nell’oblio catastrofico. In questo articolo esaminiamo questa questione aperta con uno studio empirico approfondito sull’auto-evoluzione continua degli harness. Strutturiamo tre dataset di compiti di ingegneria del software secondo sei diverse direzioni di evoluzione e applichiamo due metodi rappresentativi di evoluzione degli harness per condurre un’evoluzione continua lungo queste direzioni. I risultati sperimentali mostrano che l’evoluzione su un dataset successivo può compromettere notevolmente le prestazioni sui dataset già esaminati. Per esempio, con DeepSeek-V4-Flash-0731, Meta-Harness porta le prestazioni su SWE-Bench al 94,0% dopo l’evoluzione. Tuttavia, dopo un’ulteriore evoluzione su FeatureBench, al quinto ciclo le prestazioni su SWE-Bench scendono al 32,0%, con una diminuzione relativa del 66%. Infine, sulla base dei risultati sperimentali, individuiamo alcune indicazioni che possono orientare l’auto-evoluzione continua degli harness degli agenti. Il codice è disponibile all’indirizzo https://github.com/THU-Agent/continual-harness-evolution.