Continual Learning Exam: valutare con benchmark la RSI su lunghi orizzonti temporali e l’apprendimento dall’esperienza negli agenti LLM

Abstract degli autori

L’apprendimento continuo è la capacità degli agenti LLM di migliorare nel tempo acquisendo, perfezionando e applicando conoscenze tratte dall’esperienza, senza perdere quelle utili già possedute. È essenziale per gli agenti che apprendono su lunghi orizzonti temporali, eppure le valutazioni attuali misurano soprattutto le prestazioni nei singoli compiti, anziché i miglioramenti dovuti all’esperienza accumulata. Presentiamo Continual Learning Exam (CLE), un benchmark su larga scala sviluppato da oltre 50 esperti di settore per misurare i miglioramenti guidati dall’esperienza in flussi di lavoro professionali realistici. CLE comprende 120 compiti scritti da esseri umani, ciascuno organizzato in una sequenza di cinque livelli, per un totale di 600 livelli che coprono 89 ruoli professionali in 12 settori occupazionali. Gli agenti devono superare ogni livello per sbloccare il successivo; i livelli successivi si basano sull’esperienza accumulata durante gli incarichi precedenti. Un agente valutatore esamina ogni elaborato secondo criteri di valutazione redatti da esseri umani. Confrontiamo una modalità che prevede un’unica consegna con una che, in caso di insuccesso, fornisce un feedback diagnostico e consente una revisione. Su 17 combinazioni di harness e modello che impiegano LLM di frontiera, il feedback e la revisione producono un aumento mediano di 5,3 punti percentuali nel tasso di completamento. Eppure, il sistema con le prestazioni migliori supera solo il 47,7% dei livelli e completa tutti e cinque i livelli appena nel 23,3% dei compiti: un risultato che mette in evidenza quanto sia difficile, per gli attuali LLM di frontiera, apprendere in modo continuativo dall’esperienza. Il dataset può quindi essere usato anche per il post-addestramento degli LLM, così da rafforzarne le capacità di apprendimento continuo.