Sfuggire ai miraggi dei percorsi nell’apprendimento per rinforzo offline condizionato all’obiettivo

Abstract degli autori

L’apprendimento per rinforzo offline condizionato all’obiettivo resta difficile in contesti stocastici con orizzonti temporali lunghi, dove gli errori cumulativi nella stima del valore ostacolano il raggiungimento affidabile degli obiettivi. Sebbene i metodi precedenti abbiano cercato di affrontare questa sfida con diversi approcci, resta un problema cruciale: il miraggio del percorso, per cui gli agenti si affidano eccessivamente a traiettorie apparentemente riuscite nei dataset offline, generate dalla stocasticità, finendo spesso per fallire nei compiti difficili. Per affrontare questo problema, proponiamo Branch-aware Graph Planning (BGP), che rappresenta le strutture di diramazione stocastiche individuando i punti ad alta variabilità come nodi del grafo e progettando archi condizionati all’obiettivo con apprendimento segmentato, così da evitare diramazioni inaffidabili e ridurre la stocasticità superflua lungo i percorsi. Di conseguenza, BGP consente di raggiungere gli obiettivi in modo affidabile anche in ambienti altamente stocastici con orizzonti temporali lunghi; gli esperimenti su diversi compiti di OGBench mostrano che supera nettamente i precedenti metodi all’avanguardia di apprendimento per rinforzo offline condizionato all’obiettivo. La nostra implementazione è disponibile all’indirizzo https://umlic.github.io/papers/BGP/.