Agenti di programmazione che si evolvono autonomamente tramite l’ottimizzazione di harness e policy

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) hanno mostrato un potenziale promettente nei compiti di programmazione. Le loro prestazioni dipendono sia dal modello di policy sia dall’harness che ne media l’interazione con l’ambiente. Harness e policy, infatti, si rafforzano a vicenda, e far evolvere uno solo dei due componenti non è ottimale: un harness messo a punto per un checkpoint potrebbe non affrontare le modalità di errore di una policy aggiornata, mentre l’apprendimento della policy resta limitato alle traiettorie prodotte da un harness fisso. Per questo proponiamo Self-HPO, un framework ricorsivo di automiglioramento per agenti di programmazione che alterna l’ottimizzazione dell’harness e della policy, usando la policy in evoluzione per proporre nuovi harness. In ogni ciclo, la policy corrente analizza prima i propri errori e propone nuovi harness candidati (H-step). La policy viene poi aggiornata tramite apprendimento per rinforzo (RL) con l’harness selezionato (P-step). I compiti difficili individuati durante l’addestramento costituiscono l’insieme su cui cercare il prossimo harness, così che l’ottimizzazione resti mirata alle modalità di errore della policy man mano che questa evolve. Su tre benchmark di programmazione, Self-HPO supera sistematicamente le baseline che ottimizzano soltanto l’harness o soltanto la policy, portando il tasso medio di risoluzione di Qwen3.5-35B-A3B dal 57,8% al 64,8%. I miglioramenti si estendono anche a contesti fuori distribuzione. Ulteriori analisi mostrano che entrambi i componenti ottimizzati conservano i miglioramenti anche quando sono abbinati alle rispettive versioni di base, mentre il miglioramento ottenuto insieme supera la somma dei miglioramenti individuali. Rispetto all’agente di base, Self-HPO migliora inoltre l’affidabilità (Pass@1) e amplia la frontiera delle capacità (Pass@k). Mostriamo infine che, usando un modello esterno più potente (per esempio Opus 4.8) per proporre gli harness, lo stesso framework produce un ulteriore miglioramento delle prestazioni.