Harness-S: apprendere dagli harness fratelli per un addestramento generalizzabile degli agenti

Abstract degli autori

L’evoluzione degli harness a partire da una base comune presenta località, complementarità e non stazionarietà: le varianti correggono errori diversi e la loro utilità cambia man mano che la policy apprende. Invece di cercare un harness superiore in assoluto, introduciamo Harness-S, che recupera selettivamente gli insuccessi di un sistema di esecuzione di base tramite harness fratelli e trasferisce le capacità ottenute a un’unica policy, che rimane efficace con l’harness originale. Directional Harness Evolution sviluppa harness fratelli specializzati lungo direzioni di correzione distinte, formando un Sibling Harness Pool riutilizzabile che resta invariato durante l’addestramento della policy. Complementary Harness Rescue Training ricorre a questo pool solo quando tutti i tentativi iniziali con l’harness di base falliscono. La stessa policy genera nuovi rollout con gli harness ausiliari selezionati e queste traiettorie sostituiscono il gruppo di tentativi fallito durante l’apprendimento per rinforzo. Un Adaptive Harness Router seleziona le varianti Top-k usando gli Harness Behavior Profiles e una votazione tra più LLM. Il ri-ancoraggio dei profili consapevole della policy aggiorna queste evidenze man mano che la policy apprende. Su AppWorld, SWE-Gym e DBBench, la policy addestrata supera nettamente l’addestramento della sola policy quando viene riportata all’harness di base originale. Le analisi comportamentali e i casi held-out avvalorano il trasferimento alla policy stessa dei comportamenti sollecitati dagli harness. Riutilizzare il router per l’inferenza Rank-1 offre ulteriori miglioramenti a parità di numero di rollout dell’esecutore.