EAU: coevoluzione di ambiente, agente e utente per addestrare agenti incentrati sull’utente

Abstract degli autori

Addestrare agenti LLM a interagire con gli utenti su più turni è difficile perché il segnale di apprendimento dipende non solo dall’agente, ma anche dal simulatore di utenti e dall’ambiente, che insieme plasmano l’esperienza dell’agente. Gli utenti simulati possono comportarsi in modo stocastico o incoerente, mentre gli ambienti possono contenere strumenti inaffidabili, una copertura incompleta degli stati e verificatori errati. I lavori precedenti affrontano l’instabilità che ne deriva soprattutto attraverso il reward shaping o una supervisione più densa, trattando però questi componenti come fissi. Noi presentiamo invece EAU, un framework di meta-agenti per la coevoluzione di ambiente, agente e utente. Durante l’addestramento, EAU monitora traiettorie, tracce d’uso degli strumenti, ricompense e statistiche di addestramento; individua gli errori e le interazioni poco informative; e propone modifiche mirate al simulatore di utenti, all’ambiente, alla progettazione delle ricompense e alla configurazione dell’apprendimento per rinforzo (RL). Le modifiche convalidate vengono integrate a caldo nell’esecuzione in corso, consentendo alla configurazione dell’addestramento di evolvere insieme alla policy. Questi adattamenti persistono anche tra un’esecuzione e l’altra, così gli addestramenti successivi possono sfruttare i miglioramenti già individuati anziché ripartire da una configurazione fissa. Rendiamo possibile questo processo attraverso una rappresentazione simbolica modificabile delle dinamiche degli utenti e dell’ambiente, mentre l’agente resta un LLM neurale ottimizzato con RL. Su tre benchmark per agenti interattivi e due modelli backbone, EAU supera costantemente i precedenti metodi di RL, migliorando il punteggio complessivo del 14,7–15,0% rispetto al migliore metodo di riferimento e aumentando di un massimo del 36,7% la percentuale di compiti completati con successo su ColBench. I risultati mostrano che far coevolvere il sistema di addestramento con la policy può migliorare sensibilmente l’RL su più turni.