CausalXRL: apprendimento per rinforzo spiegabile tramite ragionamento sui grafi causali

Abstract degli autori

L’apprendimento per rinforzo è un potente paradigma per addestrare agenti autonomi e ha raggiunto prestazioni impressionanti in ambienti complessi. Tuttavia, questo successo spesso va a discapito dell’interpretabilità, riducendo la fiducia e complicando gli sforzi per eseguire il debug e migliorare il comportamento degli agenti. Per affrontare queste sfide, presentiamo CausalXRL, un nuovo framework per l’apprendimento per rinforzo spiegabile (XRL). Una caratteristica fondamentale di CausalXRL è l’uso del ragionamento sui grafi causali, che fornisce spiegazioni trasparenti, strutturate e multilivello del processo decisionale degli agenti. Convalidiamo CausalXRL attraverso studi di caso approfonditi e una valutazione in due parti: (1) un’analisi quantitativa della fedeltà delle spiegazioni e dell’efficienza nell’apprendimento delle strutture causali in ambienti di apprendimento per rinforzo di riferimento e (2) uno studio qualitativo con esperti per valutare la spiegabilità nel benchmark di strategia in tempo reale (RTS) MicroRTS. I risultati quantitativi mostrano che CausalXRL è in grado di fornire spiegazioni fedeli e di apprendere in modo efficiente le strutture causali, mentre lo studio qualitativo con esperti suggerisce che i partecipanti hanno ritenuto CausalXRL utile per esaminare strategie RTS di alto livello.