HarnessPro: auto-miglioramento ricorsivo degli harness con ottimizzazione di Pareto per i compromessi tra prestazioni e costi

Abstract degli autori

Lo sviluppo degli harness svolge un ruolo cruciale nella creazione di agenti di IA capaci. Gli approcci recenti migliorano gli harness attraverso l’auto-miglioramento ricorsivo (RSI), ma i progressi nelle prestazioni comportano spesso costi di esecuzione più elevati. Presentiamo HarnessPro, un metodo che non richiede etichette per far evolvere gli harness, migliorando le prestazioni nei compiti e riducendo al tempo stesso i costi di esecuzione. In questo contesto, gli harness candidati vengono valutati mediante test generati da LLM, senza accesso alle soluzioni corrette di riferimento né ai test ufficiali. Agenti specializzati analizzano le traiettorie di esecuzione, pianificano aggiornamenti con diverse priorità in termini di prestazioni e costi e li implementano sotto forma di harness candidati. Anziché restituire un unico harness, HarnessPro usa una selezione basata sulla distanza quadratica ponderata normalizzata per offrire harness orientati al contenimento dei costi (lite), bilanciati (medium) e orientati alle prestazioni (heavy), adatti a diversi budget di impiego. Gli harness selezionati passano all’iterazione successiva, in cui il feedback sull’esecuzione guida ulteriori aggiornamenti. I nostri esperimenti riguardano Terminal-Bench 2, SWE-Bench Pro e ProgramBench, usando GPT-5.5 con Codex e GLM-5.2 con Claude Code. Su questi benchmark, usando GPT-5.5 con Codex, la modalità heavy di HarnessPro ottiene, rispetto a RHO, un aumento medio del tasso di superamento di 2,0 punti percentuali e una riduzione media dei costi per compito del 26,1%. Questo vantaggio si conferma anche usando GLM-5.2 con Claude Code. Il codice è disponibile all’indirizzo https://github.com/pzs19/HarnessPro