L’autoevoluzione dell’harness per agenti da terminale su orizzonti lunghi

Abstract degli autori

Gli agenti che operano nel terminale su orizzonti lunghi possono risolvere un compito in una singola esecuzione, ma fallire quando lo ripetono. Gli errori stocastici possono propagarsi attraverso le azioni e il contesto, creando uno scarto tra capacità ed esecuzione affidabile. Presentiamo RiseHarness, un framework che migliora iterativamente gli harness degli agenti mantenendo fissi i pesi del modello. Si concentra sui compiti che, con la stessa configurazione, registrano sia esecuzioni riuscite sia fallite, usando le prime come riferimento per analizzare i fallimenti. RiseHarness combina le traiettorie degli agenti con le tracce interne dell’harness raccolte da un monitor durante l’esecuzione, per esaminare come le azioni del modello interagiscono con l’esecuzione dei comandi, il feedback, la gestione del contesto e le decisioni di completamento. Un Harness Handbook collega queste evidenze ai comportamenti e al codice sorgente dell’harness, aiutando a individuare problemi ricorrenti nei meccanismi condivisi tra compiti diversi. RiseHarness cerca quindi in altri framework di harness implementazioni pertinenti e le adatta al modello e al protocollo di esecuzione in uso, prendendole come riferimenti progettuali. Le modifiche candidate sono sottoposte a verifiche del comportamento e a valutazioni ripetute sui compiti; le versioni che mostrano miglioramenti misurati diventano il punto di partenza per l’iterazione successiva. Questo ciclo integra in un unico harness meccanismi adatti provenienti da framework diversi e usa le nuove evidenze raccolte durante l’esecuzione per orientare ulteriori modifiche. Valutiamo il successo nei compiti e l’affidabilità su diversi modelli, conduciamo studi di ablazione sulle evidenze relative all’esecuzione dell’harness e sulla ricerca esterna, e verifichiamo il trasferimento a benchmark non ancora utilizzati con lo stesso modello. RiseHarness considera un modello specifico come unità di adattamento dell’harness e studia come le modifiche ai meccanismi di interazione condivisi possano rendere le capacità esistenti più affidabili in compiti diversi.