AdaExploreBench: un benchmark per valutare l’esplorazione proattiva e l’adattamento in fase di test degli agenti basati su LLM in ambienti in evoluzione

Abstract degli autori

Gli agenti basati su Large Language Model (LLM) vengono impiegati sempre più spesso in ambienti sconosciuti e in evoluzione, nei quali devono esplorare in modo proattivo, comprendere le dinamiche dell’ambiente e adattarvisi. Tuttavia, i benchmark esistenti raramente verificano se gli agenti siano in grado di scoprire proattivamente come funziona un ambiente e di adattarsi alla sua evoluzione. Per colmare questa lacuna, presentiamo AdaExploreBench, un benchmark per l’esplorazione proattiva e l’adattamento in fase di test in ambienti in evoluzione. Rappresentando le dinamiche dell’ambiente attraverso regole nascoste, AdaExploreBench richiede agli agenti di raccogliere attivamente evidenze e dedurre le regole. In presenza di una deriva implicita delle regole, la regola latente cambia senza preavviso: gli agenti devono riconoscere, dal peggioramento delle prestazioni, che le conoscenze precedenti non sono più valide e riprendere l’esplorazione. Gli esperimenti su otto LLM di punta mostrano che l’esplorazione proattiva e adattiva resta difficile: GPT-6 Sol raggiunge un’accuratezza calibrata di appena il 61,9%, mentre fornire evidenze sufficienti o eliminare la deriva delle regole migliora significativamente le prestazioni medie di quasi il 10%. Questi risultati mettono in luce un limite cruciale degli attuali agenti basati su LLM: spesso sanno ragionare efficacemente a partire da evidenze informative, una volta disponibili, ma faticano a raccogliere attivamente quelle giuste e a riconoscere quando le evidenze raccolte in precedenza non sono più valide.