Adattamento efficiente in fase di test delle politiche di controllo robotico

Abstract degli autori

Le politiche di apprendimento per rinforzo per la locomozione dei robot possono fallire quando vengono impiegate in condizioni operative diverse da quelle previste, per esempio su terreni accidentati o scivolosi, con variazioni del carico trasportato o con sensori meno affidabili. Ripetere l’addestramento o ricalibrarle manualmente è spesso impraticabile a causa dei vincoli di latenza e memoria del dispositivo. Studiamo l’adattamento in fase di test (TTA) per il controllo robotico: una politica preaddestrata si adatta online, in modo autosupervisionato, durante l’esecuzione e senza accesso alle ricompense. Partiamo da una baseline leggera che aggiorna soltanto l’attore e usa un critico preaddestrato, i cui parametri restano invariati, come indicatore sostitutivo delle prestazioni durante l’impiego. Su questa base introduciamo TEMPO, un metodo di ottimizzazione delle politiche in fase di test, regolarizzato mediante l’entropia e guidato da una memoria, che stabilizza gli aggiornamenti basati sul critico in presenza di forti cambiamenti delle condizioni. TEMPO combina (i) un termine di regolarizzazione che favorisce l’entropia della distribuzione predittiva del critico, per attenuare le estrapolazioni eccessivamente sicure, e (ii) una memoria basata su punteggi, ispirata al replay prioritizzato, che dà priorità alle osservazioni di basso valore («difficili») e usa il campionamento per importanza per concentrare le limitate risorse di calcolo sulle condizioni d’impiego più informative. Nei test su Go1, Go2 e G1 in MuJoCo Playground, con quattro cambiamenti rappresentativi delle condizioni e diverse architetture, TEMPO produce miglioramenti costanti, fino all’80% in una configurazione con un solo dispositivo. Lo convalidiamo inoltre su un Unitree Go2 fisico con un carico aggiunto al segmento inferiore di una zampa: l’adattamento eseguito interamente sul dispositivo migliora le prestazioni rispetto alla baseline non adattata in diversi episodi nel mondo reale.