ACCRUE: apprendimento per rinforzo continuo off-policy per modelli fondazionali per la robotica

Abstract degli autori

L’addestramento successivo tramite apprendimento per rinforzo (RL) migliora i modelli fondazionali per la robotica (RFM) oltre le loro dimostrazioni, ma l’impiego nel mondo reale richiede di più: imparare nuovi compiti in modo efficiente senza perdere i comportamenti acquisiti in precedenza. I metodi esistenti di RL continuo applicati alle VLA attenuano la perdita delle conoscenze precedenti, ma si basano su aggiornamenti on-policy con un trasferimento limitato ai compiti successivi. I metodi off-policy, invece, migliorano l’efficienza nell’uso dei campioni per un singolo compito senza affrontare la continuità dell’apprendimento tra compiti. Proponiamo ACCRUE, un framework di RL continuo off-policy che trasferisce da un compito all’altro reti leggere di actor e critic, consentendo a ogni fase di riutilizzare le conoscenze sui comportamenti e sui valori acquisite con l’RL nelle fasi precedenti. Il critic ereditato si adatta soltanto alle transizioni del compito corrente e guida l’apprendimento dell’actor per quel compito, mentre il comportamento precedente viene preservato distillando l’actor verso valori obiettivo memorizzati nella cache su un numero limitato di episodi conservati. Le caratteristiche visive fisse mantengono il sistema di apprendimento ereditato e il relativo replay compatibili con gli aggiornamenti della policy di base. In sequenze di assemblaggio con numerosi contatti, sia in simulazione sia su robot reali, ACCRUE accelera l’apprendimento dei compiti successivi con una perdita delle conoscenze precedenti pressoché nulla e riduce significativamente il tempo di addestramento sui robot reali, dal 31,0\% al 68,5\%.