Una prospettiva geometrica sugli aggiornamenti della funzione di ricompensa nell’apprendimento per rinforzo inverso

Abstract degli autori

L’apprendimento per rinforzo inverso (IRL) viene tradizionalmente affrontato con l’ottimizzazione lagrangiana, ottimizzando congiuntamente un problema primale-duale mediante discesa del gradiente, per ottenere i parametri ottimali della funzione di ricompensa e la corrispondente policy ottimale. Sebbene questa visione algoritmica dell’IRL abbia avuto grande influenza, gli aggiornamenti della ricompensa basati sul gradiente offrono solo un quadro parziale, ignorando in larga misura la geometria del problema nello spazio delle occupazioni. In questo lavoro presentiamo una prospettiva sugli aggiornamenti della ricompensa nell’IRL basata sullo spazio delle occupazioni. Sfruttiamo il fatto che sono note sia la soluzione ottimale sia la sua geometria nello spazio delle occupazioni, e mostriamo che la geometria lungo la e-geodetica (la retta nello spazio delle occupazioni) verso l’occupazione ottimale influisce direttamente sul gradiente del problema duale dell’IRL nello spazio dei parametri della ricompensa. Questa prospettiva suggerisce naturalmente di precondizionare il gradiente duale con l’informazione media di Fisher lungo la traiettoria delle occupazioni. Mostriamo che questo gradiente precondizionato è semplicemente un’interpolazione convessa tra la vecchia ricompensa e una nuova ricompensa obiettivo, e permette di effettuare aggiornamenti efficienti in stile gradiente naturale con un sovraccarico computazionale aggiuntivo minimo. Analizziamo quindi questi aggiornamenti della ricompensa nello spazio delle occupazioni dalla prospettiva della discesa speculare (MD) e mostriamo che la ricerca della policy sulle ricompense risultanti induce una MD entropica approssimata sulla policy. Infine, presentiamo risultati di convergenza per algoritmi di IRL che tengono conto di questa geometria.