ODE Policy: apprendimento robotico tramite le dinamiche delle azioni, non le azioni

Abstract degli autori

La maggior parte delle policy robotiche, addestrate con l’apprendimento per imitazione (IL) o con l’apprendimento per rinforzo (RL), associano alle osservazioni valori delle azioni nei singoli passi di controllo discreti e lasciano che la continuità del movimento fisico venga appresa implicitamente. Proponiamo ODE policy, che apprende la dinamica dell’azione anziché l’azione stessa. Un’equazione differenziale ordinaria neurale (ODE) apprende il campo vettoriale dell’azione facendo corrispondere le azioni integrate ai target su brevi sequenze di azioni nell’IL e su singoli passi di controllo nell’RL. Una testa leggera dedicata alla diversità cattura comportamenti multimodali randomizzando la direzione del campo. In fase di esecuzione, ogni azione viene integrata a partire dalla precedente, così la traiettoria eseguita è continua per costruzione. La valutiamo come policy visuo-motoria, come modulo di output delle azioni per i modelli visione-linguaggio-azione (VLA) e i modelli di azione del mondo (WAMs), e come attore nell’RL basato su modelli, confrontandola con 14 baseline in compiti con una mano, bimanuali, di destrezza, di locomozione e di locomozione-manipolazione. Nell’IL, rispetto al flow matching, dopo un’epoca ottiene risultati 5,9$\times$ superiori in termini di successo, 5,4$\times$ in termini di generalizzazione e 3,9$\times$ in termini di equilibrio tra i diversi modi, e genera azioni 10,8$\times$ più velocemente. Nella maggior parte dei casi, i suoi movimenti sono più fluidi di quelli delle dimostrazioni umane. Su 14 compiti nel mondo reale con robot a braccio singolo, a doppio braccio, dotati di destrezza e umanoidi, raggiunge il tasso di successo più alto. Nell’RL, accelera ulteriormente SuperMimic per il tracciamento del movimento umanoide e rende più fluide le sue azioni. Efficiente in termini di apprendimento, dati, parametri ed esecuzione, ODE policy offre una strada promettente per ampliare l’apprendimento robotico.