Vai al contenuto
AI.info

Ricerca

EgoX: manipolazione egocentrica cross-embodiment con Embodiment Dreaming

Le politiche generaliste di manipolazione possono trarre vantaggio dall’esperienza complementare di esseri umani, robot reali e agenti simulati. Tuttavia, le differenze di morfologia, sensori e…

arXiv
2611.16728
Pubblicato
2026-11-12
Autori
Yaru Niu, Binghong Chen, Changwei Yao, Shangtao Li, Zhenlong Fang, Revanth Krishna Senthilkumaran, Shuai Zhou, Yuemin Mao, Kalie Ching, Po-Ju Chao, Yudong Luo, Peiqi Yu, Heng Zhang, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Ye Yuan, Umar Iqbal, Changliu Liu, Jonathan Francis, Ding Zhao

Abstract degli autori

Le politiche generaliste di manipolazione possono trarre vantaggio dall’esperienza complementare di esseri umani, robot reali e agenti simulati. Tuttavia, le differenze di morfologia, sensori e interfacce di controllo rendono difficile apprendere efficacemente dalle dimostrazioni combinate. Presentiamo EgoX, un framework di apprendimento egocentrico cross-embodiment che organizza dimostrazioni eterogenee tramite modalità di osservazione e di azione semanticamente corrispondenti. EgoX preaddestra su questa miscela un Modularized Cross-Embodiment Transformer with Embodiment Dreaming (MXT+) e lo perfeziona con dimostrazioni dell’embodiment bersaglio. Per ciascun embodiment, MXT+ assegna un tokenizer dedicato a ogni modalità di osservazione e un esperto dedicato a ogni modalità di azione, con un tronco Transformer condiviso tra gli embodiment. Un obiettivo di training basato sull’embodiment dreaming, utilizzato solo durante l’addestramento, prevede le rappresentazioni latenti di stati visivi e propriocettivi futuri, incoraggiando il tronco condiviso a modellare le dinamiche di ciascun embodiment. Su 13 coppie compito-embodiment, che comprendono cinque compiti e sei embodiment robotici, tra cui cinque robot fisici e un umanoide simulato, il preaddestramento cross-embodiment porta l’avanzamento medio normalizzato dei compiti di MXT+ da 0,63 a 0,80 rispetto all’addestramento da zero. I miglioramenti sono particolarmente marcati in condizioni out-of-distribution, dove l’avanzamento medio dei compiti sale da 0,53 a 0,77. Gli studi di ablazione dimostrano i vantaggi di miscele di preaddestramento più ampie, interfacce modulari ed embodiment dreaming; quest’ultimo produce geometrie latenti più simili tra gli embodiment. Pagina del progetto: egox-dream.github.io.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv