DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI

Abstract degli autori

L’apprendimento continuo nell’IA fisica differisce da quello convenzionale perché piccoli errori della policy a ogni passo possono accumularsi lungo una traiettoria. Ogni deviazione può portare l’agente fuori dalla distribuzione di training, aumentare gli errori di previsione successivi e, infine, causare il fallimento del compito in un sistema a ciclo chiuso. Questo lavoro introduce Dynamics-Risk Adaptive Plasticity (DRAP), un metodo senza replay che stima l’importanza storica dei tensori adattabili del modello a partire dai gradienti delle azioni a livello di campione, ponderati in base al rischio locale di amplificazione della traiettoria. Un modello lineare locale regolarizzato con ridge viene adattato alle transizioni di stato-azione degli esperti; il massimo valore singolare della sua matrice di transizione dello stato fornisce una stima dell’amplificazione delle perturbazioni a un passo, indipendente dalla policy e ispirata a Lyapunov. Dopo ogni compito, i gradienti al quadrato ponderati per il rischio vengono accumulati in una memoria di importanza a livello di tensore. Nei compiti successivi, DRAP usa l’importanza cumulativa normalizzata per scalare il tasso di apprendimento effettivo di AdamW di ciascun tensore, riducendo immediatamente la plasticità dei componenti che hanno sostenuto comportamenti precedenti in punti della traiettoria dinamicamente sensibili. Applichiamo DRAP a una sottorete fissa di OpenVLA selezionata da KappaTune e valutiamo l’adattamento sequenziale senza replay nelle suite LIBERO Spatial, Object e Goal. Rispetto al fine-tuning standard con AdamW e a EWC, i risultati mostrano una conservazione nettamente migliore dei comportamenti appresi in precedenza, mantenendo al contempo una forte capacità di apprendimento su nuove suite.