EmbodiedCLBench: valutare l’apprendimento continuo negli agenti incarnati capaci di evolversi autonomamente

Abstract degli autori

L’apprendimento continuo richiede ai modelli di accumulare le esperienze passate e trasferirle a nuovi compiti. Nonostante le numerose ricerche in questo campo, gli studi esistenti restano in gran parte confinati a contesti non incarnati, senza estendersi agli ambienti in cui gli agenti agiscono attraverso un corpo. Per colmare questa lacuna, presentiamo EmbodiedCLBench, il primo benchmark di simulazione di agenti incarnati per valutare la capacità di apprendimento continuo degli agenti che si evolvono autonomamente. Assumendo la generalizzazione composizionale come principio centrale di valutazione, il nostro benchmark verifica se gli agenti siano in grado prima di apprendere da compiti di base e poi di ricombinare le abilità acquisite per risolvere compiti avanzati, complessi e mai incontrati prima. Sulla base di EmbodiedCLBench, conduciamo un’ampia serie di esperimenti con diversi framework per agenti e metodi di apprendimento, rilevando limiti ricorrenti e comportamenti peculiari. I nostri risultati mostrano che, mentre i compiti avanzati sono difficilmente risolvibili in modalità zero-shot, l’esperienza acquisita nei compiti di base consente miglioramenti costanti. Il beneficio di tale esperienza rimane stabile anche quando aumenta la complessità dei compiti. Tuttavia, il miglioramento non cresce di pari passo con il numero di esempi di apprendimento e gli agenti attuali non riescono a ricavare informazioni significative dall’esperienza aggiuntiva. Nel complesso, i nostri risultati evidenziano che l’apprendimento continuo è una capacità fondamentale ma ancora poco studiata; il nostro benchmark offre inoltre risorse preziose per progettare agenti efficaci, capaci di evolversi autonomamente in ambienti in cui agiscono attraverso un corpo. Il codice e il dataset sono disponibili all’indirizzo https://pku-value-lab.github.io/EmbodiedCLBench-homepage.