Harness^2: configurazione ricorsiva degli harness degli agenti in un mondo aperto

Abstract degli autori

Le capacità degli agenti basati su LLM dipendono non solo dai modelli su cui si fondano, ma anche dai loro harness di esecuzione. Il miglioramento ricorsivo di sé (RSI) offre un approccio promettente per far evolvere automaticamente questi harness. Tuttavia, l’impiego dell’RSI in contesti a mondo aperto presenta ancora due sfide cruciali. In primo luogo, i compiti in un mondo aperto sono generalmente sconosciuti durante la progettazione dell’harness e nuovi al momento del test: mancano quindi verificatori basati su risposte corrette di riferimento che guidino in modo affidabile le modifiche online all’harness. In secondo luogo, il processo di RSI resta fortemente legato al singolo compito e non si generalizza a scenari nuovi. Presentiamo Harness^2, un framework plug-and-play per la configurazione ricorsiva degli harness degli agenti che affronta queste sfide attraverso due livelli di ricorsione collegati. La ricorsione a livello di compito perfeziona l’harness del compito corrente mediante un passaggio contrastivo Propose-Probe-Compose, che guida in modo affidabile le modifiche senza verificatori basati su risposte corrette di riferimento e può essere ulteriormente ampliato con ricorsioni parallele o sequenziali. La ricorsione a livello di configurazione degli harness ricava poi esperienza da queste modifiche per aggiornare un harness di miglioramento continuo, consentendo all’agente di adattarsi meglio ai compiti futuri. Su tre benchmark professionali e quattro configurazioni modello-harness, un solo passaggio migliora sistematicamente le prestazioni di GLM-5 e Gemini 3.5 Flash rispetto ai rispettivi harness di base, con incrementi fino a 11,5 punti su WorkBuddy-Bench, 4,5 punti su JobBench e 11,8 punti percentuali su LAB. I risultati migliorano ulteriormente all’aumentare del budget per la ricorsione a livello di compito.