Ropedia W0: scalare i modelli del mondo per la locomozione e la manipolazione tra diverse configurazioni corporee grazie all’esperienza umana

Abstract degli autori

I modelli del mondo consentono agli agenti incarnati di anticipare le conseguenze delle proprie azioni, ma modellare congiuntamente locomozione e manipolazione in corpi diversi resta difficile a causa dell’eterogeneità degli spazi d’azione e della limitata supervisione multimodale. Presentiamo Ropedia W0, il primo modello fondazionale del mondo per la locomozione e la manipolazione in prospettiva egocentrica che comprende esseri umani e robot con corpi diversi. Abbiamo raccolto Xp-Data, che comprende 10k ore di dati umani in prospettiva egocentrica e 3k ore di dati robotici, con annotazioni multimodali unificate e un controllo sistematico della qualità. Una rappresentazione cinematica unificata codifica la locomozione attraverso le pose della telecamera e la manipolazione attraverso scheletri proiettati; gli scheletri robotici combinano la cinematica diretta specifica di ciascun corpo con un’ampia annotazione e correzione manuale dei punti chiave. Introduciamo inoltre Xp-Teleop, un benchmark per la locomozione e la manipolazione su orizzonti lunghi, basato su dati di teleoperazione di alta qualità di umanoidi dotati di destrezza. Le valutazioni mostrano prestazioni allo stato dell’arte in cinque benchmark tra corpi diversi (DreamDojo, $Ψ_0$, $ω$-HOME, Xp-Teleop e AgiBot) e su video umani in prospettiva egocentrica esclusi dall’addestramento, dall’inferenza zero-shot al post-addestramento few-shot e con tutti i dati. Aumentare la quantità di dati umani per il pre-addestramento migliora le prestazioni nelle valutazioni sia sugli esseri umani sia sui robot. Dopo la distillazione, il nostro modello supporta simulazioni in tempo reale della durata di un minuto, rendendo possibile l’interazione VR dal vivo. Le applicazioni alla valutazione delle politiche, alla pianificazione basata su modelli e alla modellazione del mondo e delle azioni dimostrano ulteriormente l’utilità del modello per i processi decisionali degli agenti incarnati.