Learn2Play Bench: quanto bene imparano dall’esperienza gli agenti LLM in ambienti sconosciuti?

Abstract degli autori

Imparare dall’esperienza è essenziale perché gli agenti LLM possano adattarsi ad ambienti sconosciuti e dinamici. Valutare questa capacità è quindi importante per capire con quanta efficacia acquisiscano e utilizzino nuove conoscenze. I benchmark esistenti hanno cercato di valutarla, ma si concentrano soprattutto su compiti le cui regole sono fornite nelle istruzioni o sono già familiari ai modelli preaddestrati. Diventa così difficile distinguere l’apprendimento attraverso le interazioni dal ragionamento basato su conoscenze preesistenti. Per affrontare questo problema, presentiamo Learn2Play Bench, un benchmark composto da giochi testuali progettati ex novo, con regole inedite o controintuitive che richiedono agli agenti di acquisire conoscenze attraverso l’interazione, anziché affidarsi soltanto a quelle apprese durante il preaddestramento. I giochi forniscono feedback riproducibile e punteggi calcolati automaticamente, consentendo una valutazione controllata dell’apprendimento nel corso di tentativi ripetuti. Variamo inoltre le istanze dei giochi per verificare se gli agenti sappiano applicare quanto appreso a situazioni nuove. Valutiamo quindi come i modelli backbone, i metodi di autoevoluzione e gli harness degli agenti influenzino la loro capacità di apprendimento, arrivando a tre risultati: (1) Conservazione dell’esperienza: mantenere registrazioni complete delle azioni e del feedback può favorire un apprendimento più efficace rispetto a riassumere queste esperienze in regole o strategie. (2) Divario tra esseri umani e agenti: i giocatori umani più bravi raggiungono punteggi massimi superiori a quelli degli agenti valutati. Gli esseri umani esplorano strategie più varie e ripetono meno spesso le stesse azioni. (3) Importanza dell’harness: a parità di backbone, cambiare l’harness può migliorare le prestazioni e al tempo stesso ridurre il costo stimato dell’inferenza. Nel complesso, questi risultati aiutano a capire come gli agenti LLM imparino dall’esperienza e indicano possibili direzioni per la ricerca futura volta a migliorarne la capacità di apprendimento. Sito web del progetto: https://liushiliushi.github.io/learn2play-bench-website/