Mitigare lo shift di covariata nella clonazione comportamentale tramite la correzione robusta della distribuzione stazionaria

Abstract degli autori

Consideriamo l’apprendimento per imitazione offline (IL), che mira ad addestrare un agente a imitare le dimostrazioni dell’esperto contenute nel dataset, senza interagire online con l’ambiente. La clonazione comportamentale (BC) è stata un approccio semplice ma efficace all’IL offline, ma è anche noto che è vulnerabile allo shift di covariata, dovuto alla discrepanza tra le distribuzioni degli stati indotte dalla policy appresa e dalla policy dell’esperto. Inoltre, come spesso accade nella pratica, quando i dataset dell’esperto vengono raccolti a partire da una distribuzione arbitraria degli stati anziché da una distribuzione stazionaria, questi shift diventano più marcati e possono portare a gravi fallimenti nei metodi di IL esistenti. In particolare, ci concentriamo sullo shift di covariata dovuto a distribuzioni arbitrarie dei dati relativi agli stati, per esempio a una raccolta dei dati distorta o a traiettorie incomplete, anziché sugli shift indotti da cambiamenti nella dinamica o da azioni rumorose dell’esperto. In questo articolo, per mitigare l’effetto degli shift di covariata nella BC, proponiamo DrilDICE, che utilizza un obiettivo di BC robusto rispetto alla distribuzione e ricorre alla stima del rapporto di correzione della distribuzione stazionaria (DICE) per ricavare una soluzione fattibile. Valutiamo l’efficacia del nostro metodo attraverso un’ampia serie di esperimenti che copre diversi scenari di shift di covariata. I risultati dimostrano l’efficacia dell’approccio proposto nel migliorare la robustezza agli shift, superando i metodi di IL offline esistenti in tali scenari.