Valutazione comparativa e potenziamento della memoria a livello di abilità per la manipolazione robotica parzialmente osservabile

Abstract degli autori

I recenti progressi nell’apprendimento robotico hanno consentito alle policy di manipolazione di svolgere compiti sempre più diversi e di generalizzare tra ambienti differenti. Tuttavia, un’esecuzione affidabile dipende spesso da stati nascosti del compito che non possono essere determinati soltanto dalle osservazioni attuali: la storia delle interazioni diventa quindi essenziale. Presentiamo $HIDE$, un benchmark per valutare la memoria nella manipolazione in condizioni di osservabilità parziale. HIDE comprende 15 compiti che riguardano il conteggio delle ripetizioni, il richiamo di stati passati e il monitoraggio dell’avanzamento dell’esecuzione. Le configurazioni iniziali sono randomizzate e, in alcuni punti decisionali, osservazioni simili richiedono azioni diverse a seconda degli eventi precedenti. Proponiamo inoltre $SEEK$, un framework che combina tre meccanismi di memoria complementari per conservare le informazioni ricavate dagli eventi passati e tenere traccia dello stato dell’esecuzione. Le valutazioni rivelano limiti significativi delle policy esistenti su HIDE, mentre l’aggiunta di memoria migliora il successo nei compiti sia nelle simulazioni sia negli esperimenti nel mondo reale. I singoli meccanismi sono utili per alcuni compiti, ma possono peggiorare le prestazioni in altri; la loro combinazione raggiunge il più alto tasso medio di successo su HIDE tra le configurazioni valutate. Questi risultati evidenziano l’importanza di mantenere rappresentazioni interne degli stati nascosti del compito e di adeguare la progettazione della memoria alle esigenze informative specifiche di ciascun compito.