Rappresentazioni permanenti e transitorie per l’apprendimento per rinforzo continuo

Abstract degli autori

Gli agenti di apprendimento per rinforzo continuo (CRL) faticano ad adattarsi a nuove situazioni mantenendo al tempo stesso le conoscenze acquisite, dando luogo a un compromesso tra stabilità e plasticità. Un approccio per risolvere questo problema consiste nell’usare sistemi di apprendimento complementari: uno per l’apprendimento lento e a lungo termine, l’altro per un adattamento rapido e transitorio. Anand & Precup (2023) hanno concretizzato questa idea usando funzioni di valore permanenti e transitorie, ma hanno adottato le stesse caratteristiche in entrambi i sistemi. Intuitivamente, l’apprendimento a lungo termine dovrebbe basarsi maggiormente su rappresentazioni parametriche per ottenere una generalizzazione ampia, mentre per l’apprendimento transitorio sarebbero più adatte rappresentazioni non parametriche, che consentono un adattamento specifico alla situazione. In questo articolo esploriamo questa idea sia sul piano teorico sia su quello empirico. Introducendo una nuova approssimazione non parametrica per stimare la funzione di valore transitoria in compiti complessi, dimostriamo che il nostro metodo consente l’apprendimento online e supera le baseline competitive nei compiti basati su immagini e in Craftax-Classic, sottolineando l’efficacia della nostra decomposizione a livello di sistema.