Processi decisionali di Markov basati sulla dissimilarità per stabilizzare le distribuzioni degli stati

Abstract degli autori

L’apprendimento per rinforzo nei sistemi stocastici ottimizza in genere le ricompense cumulative attese, ma un comportamento affidabile e ripetibile dipende anche da come evolve nel tempo la distribuzione degli stati. Ottimizzare il solo ritorno atteso non garantisce che questa distribuzione converga verso una distribuzione obiettivo o rimanga stabile. Questo articolo sviluppa un quadro teorico per apprendere politiche che stabilizzano le distribuzioni degli stati. Formuliamo il problema come un processo decisionale di Markov basato sulla dissimilarità (DMDP), in cui la politica agisce sulla distribuzione corrente degli stati e l’obiettivo misura la dissimilarità tra questa e una distribuzione obiettivo. Stabiliamo condizioni sufficienti affinché la politica ottimale renda asintoticamente stabile la distribuzione obiettivo. Per favorire l’apprendimento delle politiche, introduciamo una rappresentazione delle distribuzioni a dimensione finita e mostriamo come le garanzie di stabilità relative alla dinamica dei suoi parametri si estendano alle distribuzioni degli stati sottostanti. Elaboriamo inoltre certificati per le politiche apprese, anche per il loro impiego con parametri stimati della distribuzione. Questi risultati quantificano l’effetto degli errori di apprendimento e di stima sulle garanzie e individuano le condizioni in cui le politiche apprese conservano la stabilità asintotica. Per l’implementazione pratica, combiniamo stime della distribuzione e ricompense dipendenti dall’obiettivo con PPO e SAC. Un esempio calcolabile su un sistema lineare illustra i certificati teorici proposti. Inoltre, esperimenti su un task HalfCheetah mostrano i vantaggi del feedback sulla distribuzione e della corrispondenza esplicita con l’obiettivo per regolare la distribuzione delle velocità.