Apprendimento ed esecuzione robusti di macchine di ricompensa in ambienti rumorosi

Abstract degli autori

Contesto: le macchine di ricompensa (RM) rappresentano funzioni di ricompensa non markoviane come macchine a stati finiti su eventi proposizionali di alto livello. Tradizionalmente, questi eventi sono generati da una funzione di etichettatura deterministica che mappa gli stati dell’ambiente in insiemi di proposizioni. Tuttavia, nel mondo reale le funzioni di etichettatura sono intrinsecamente rumorose. Obiettivi: progettare e implementare un metodo che apprenda le RM in presenza di funzioni di etichettatura rumorose e le sfrutti per l’apprendimento di policy in ambienti sia discreti sia continui. Metodi: proponiamo Prob-IRM, un metodo che apprende le RM da storie di proposizioni rumorose usando la programmazione logica induttiva (ILP) e le sfrutta per l’apprendimento di policy. Le storie di proposizioni rumorose sono rappresentate come esempi di addestramento per l’ILP, che apprende una RM massimizzando la copertura delle storie a bassa incertezza. L’apprendimento della RM è intercalato con l’ottimizzazione della policy. Prob-IRM usa una distribuzione di credenza sugli stati della RM per determinare quando riapprendere la RM e fornire ricompense guida aggiuntive. Risultati: Prob-IRM viene valutato in ambienti con spazi di stato discreti e continui, con diversi livelli di rumore nell’etichettatura. Prob-IRM ottiene prestazioni comparabili a quelle dei metodi di riferimento che usano RM realizzate manualmente e supera gli approcci che usano reti neurali ricorrenti per codificare la storia, pur operando con etichette rumorose. Conclusioni: Prob-IRM rappresenta un passo verso l’impiego delle macchine di ricompensa in ambienti rumorosi del mondo reale.