Co-evoluzione dell’azione e della previsione negli agenti linguistici

Abstract degli autori

L’addestramento degli agenti linguistici è limitato dall’alto costo dei rollout su orizzonti lunghi. Il tradizionale apprendimento per rinforzo (RL) per agenti, però, apprende soltanto da una ricompensa scalare finale, lasciando in gran parte inutilizzati i segnali di supervisione presenti nei passaggi intermedi. I lavori precedenti sfruttano questi segnali tramite target di valore, che stimano la probabilità di successo a ogni passaggio, o target di osservazione, che riproducono la risposta dell’ambiente. Entrambi sono difficili da costruire bene: (1) i target di valore derivano dallo stesso, unico segnale scalare per ogni passaggio della traiettoria; (2) i target di osservazione, come le pagine web e i log del terminale, sono lunghi e rumorosi e si spingono soltanto un passaggio avanti. Proponiamo CoPE, che aggiunge un terzo tipo di target: sequenze di azioni su più passaggi. Sulle traiettorie on-policy concluse con successo, CoPE addestra la rete di base della policy a generare le sequenze di azioni che seguono ciascuna storia. Ogni azione è inoltre oggetto di supervisione quando viene prevista a partire dalle storie precedenti: si forma così un insieme temporale che la rete di base condivisa assimila durante l’addestramento, consentendo all’azione e alla previsione di co-evolvere. In fase di inferenza, la policy continua ad agire un passaggio alla volta, senza costi aggiuntivi. Su cinque benchmark (ALFWorld, ScienceWorld, WebShop, $τ^2$-bench e AppWorld), CoPE (1) ottiene, negli ambienti simulati, prestazioni aggregate superiori a GRPO e alle baseline RL con target ausiliari predittivi, migliorando al contempo le prestazioni complessive in entrambe le applicazioni realistiche; (2) raggiunge su ScienceWorld un’efficienza nell’uso dei campioni fino a $1.9\times$ e $2.0\times$ superiore rispetto, rispettivamente, a ECHO e GRPO; (3) ottiene questi miglioramenti con un’unica rete di base per la policy, senza modelli aggiuntivi, preaddestramento separato o costi aggiuntivi in fase di inferenza. Il codice è disponibile all’indirizzo https://github.com/ulab-uiuc/CoPE.