EMHO: EMbodied Agent Harness Optimization tramite tracce di esperienza

Abstract degli autori

Per migliorare gli agenti incarnati, spesso si interviene sul modello sottostante attraverso l’addestramento, mentre l’infrastruttura che ne gestisce la pianificazione, il contesto e l’uso degli strumenti viene di norma progettata manualmente. Ci chiediamo se questa infrastruttura possa invece migliorare direttamente a partire dalle tracce delle esperienze, anche quando il feedback dell’ambiente è scarso. Proponiamo EMbodied Agent Harness Optimization (EMHO), un sistema che si evolve autonomamente: mantiene invariato il modello dell’agente incarnato e modifica iterativamente l’infrastruttura analizzando le traiettorie di esecuzione e le sue versioni precedenti. EMHO non si limita a ottimizzare le abilità o i prompt di recupero, ma modifica il modo in cui l’agente monitora i progressi, usa gli strumenti visivi, ancora le osservazioni e reagisce agli errori. Per gestire più sottocompiti con un’unica infrastruttura, introduciamo EMHO-Merge, che affronta i compromessi dell’ottimizzazione congiunta di un’infrastruttura condivisa tra i sottocompiti. A questo scopo usa i miglioramenti e i peggioramenti osservati nei singoli episodi per perfezionare, sulla base delle evidenze, quando e come applicare i comportamenti modificati. Valutiamo EMHO su EmbodiedBench in compiti di navigazione e manipolazione: EMHO migliora sistematicamente la percentuale di successo per entrambi i modelli Qwen 9B e 27B. L’analisi qualitativa mostra che EMHO va oltre il recupero dagli errori e dalle azioni improduttive, trasformando il modo in cui l’agente incarnato interpreta l’ambiente e interagisce con esso.