Individuazione auto-supervisionata di fotogrammi chiave per l’imitazione del comportamento indipendente dall’orizzonte

Abstract degli autori

L’imitazione del comportamento (BC) in ambienti non markoviani è un problema difficile, perché le policy devono ragionare su informazioni contestuali lungo orizzonti temporali estesi. Le architetture delle policy esistenti si affidano a meccanismi ricorrenti o basati sull’attenzione per cogliere le dipendenze a lungo termine. Tuttavia, i modelli ricorrenti soffrono del collasso dello stato nascosto e dell’instabilità dei gradienti durante la retropropagazione nel tempo, mentre i modelli basati sull’attenzione sono fondamentalmente limitati dalla lunghezza del contesto. Per affrontare questi problemi, proponiamo Keyframe Mnemonics, un nuovo metodo auto-supervisionato che $\textit{discovers}$ un insieme di osservazioni cruciali dal punto di vista informativo ($\textit{mnemonics}$), apprendendo una funzione obiettivo da osservazioni passate campionate casualmente e usandola come ricompensa per la selezione dei fotogrammi chiave. Addestriamo quindi una policy BC che usa i fotogrammi chiave individuati come contesto per modellare la distribuzione delle azioni. Sotto determinate ipotesi sulla struttura dei compiti, la nostra formulazione offre garanzie di conservazione del contesto su un orizzonte infinito, pur mantenendo nella memoria di lavoro della policy un piccolo insieme di fotogrammi chiave rilevanti per le decisioni. Valutiamo il metodo su domini sintetici che richiedono memoria: le policy BC condizionate dalle osservazioni mnemoniche raggiungono tassi di successo (SR) del $100$% e generalizzano a orizzonti di ordini di grandezza superiori a quelli dell’addestramento senza cali di prestazioni. Lo valutiamo inoltre su un benchmark di manipolazione robotica che richiede molta memoria, ottenendo un miglioramento assoluto medio del SR del $13.9$% rispetto alla baseline più forte su $23$ compiti e mantenendo un SR dell’$80$% su orizzonti $20\times$ più lunghi con un robot reale. Il codice e i video sono disponibili all’indirizzo https://keyframe-mnemonics.github.io.