ExRL: adattamento online efficiente in termini di campioni delle policy con chunk lunghi tramite il controllo della durata di esecuzione

Abstract degli autori

La previsione di chunk di azioni lunghi, spesso estesi su decine di passi temporali, è diventata un elemento fondamentale per policy robotiche sempre più capaci. In questo articolo mostriamo che adattare queste policy con chunk lunghi usando i metodi esistenti di apprendimento per rinforzo (RL) può richiedere molti campioni online, a causa dell’elevata dimensionalità dei chunk di azioni da ottimizzare. Questo rende l’adattamento impraticabile negli scenari reali, dove raccogliere dati sulle interazioni è costoso. La nostra intuizione chiave è spostare l’adattamento dall’ottimizzazione delle azioni all’ottimizzazione della durata di esecuzione di ciascun chunk di azioni previsto. In questo modo lo spazio di adattamento rimane a bassa dimensionalità, mentre la sua espressività aumenta con la dimensione del chunk. Introduciamo quindi Execution at the Right Length (ExRL), un approccio semplice che affianca alla policy di base un adattatore leggero, il quale prevede la durata di esecuzione di ciascun chunk e viene addestrato con algoritmi RL off-policy. Nei benchmark di simulazione e in attività robotiche nel mondo reale, ExRL consente di adattare in modo efficiente in termini di campioni una vasta gamma di policy con chunk lunghi, richiedendo una messa a punto minima degli iperparametri specifici per ciascuna attività.