Ricerca
Open-HumanScale: una ricetta aperta per scalare l’esperienza umana e robotica per i modelli fondazionali embodied
I video egocentrici umani offrono una fonte scalabile di priors sulla manipolazione per l’apprendimento robotico, ma tradurre la scala dei dati grezzi in policy robotiche generalizzabili richiede una
- arXiv
- 2611.06817
- Pubblicato
- 2026-11-04
- Autori
- Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang, Chen Bian, Zicong Cao, Baohao Zhu, Jianxin Bi, Tengfei Yan, Yinyuan Zhang, Kewei Zhang, Xinglong Chen, Kaiqi Chen, Duomin Wang, Xiaotian Tang, Liang Tan, Li Li, Yuan Xu, Haosen Yang, Yuqi Wang, Jingfei Xia, Songyan Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Tat-Seng Chua, Daquan Zhou
Abstract degli autori
I video egocentrici umani offrono una fonte scalabile di priors sulla manipolazione per l’apprendimento robotico, ma tradurre la scala dei dati grezzi in policy robotiche generalizzabili richiede una rigorosa selezione dei dati e ricette di addestramento. Presentiamo Open-HumanScale, la prima ricetta completamente aperta per scalare il pretraining egocentrico fino a 50.000 ore, basata su Open-HumanScale-50K---un corpus selezionato di video egocentrici, annotati in modo fitto con movimenti delle mani e linguaggio naturale. Sfruttando questo corpus, analizziamo sistematicamente il pretraining esclusivamente umano tramite valutazioni in simulazione a circuito chiuso e rileviamo una legge di scaling log-lineare empirica che collega le ore di dati di pretraining ai tassi di successo dei robot nei task a valle. Sulla base di questi risultati, sviluppiamo HumanWAM-Vanilla, un modello world-action preaddestrato esclusivamente su 50k ore di video egocentrici umani. Dopo il post-training robotico, HumanWAM-Vanilla raggiunge un tasso di successo del 92,08% su RoboTwin 2.0 Clean2Clean e del 68,88% su Clean2Random, oltre a un tasso medio di successo del 14,17% e un punteggio medio di progressione di 19,00 su RoboDojo. Per spingere ancora più avanti la frontiera delle capacità, esploriamo il pretraining congiunto su dati umani e robotici con HumanWAM-Goal, un modello world-action condizionato da un obiettivo visivo. Lo scaling dei dati ibridi sblocca un’ampia generalizzazione zero-shot nei benchmark sia di simulazione sia fisici, portando le prestazioni di RoboTwin 2.0 dopo il post-training a nuovi livelli di state of the art: 92,70% su Clean2Clean e un notevole balzo all’84,60% su Clean2Random. Sui robot fisici, HumanWAM-Goal mostra inoltre un apprendimento in-context embodied emergente, adattando dinamicamente il proprio comportamento di manipolazione a obiettivi visivi mai visti prima, senza aggiornamenti dei parametri. Per sostenere la ricerca riproducibile sullo scaling nell’IA embodied, rendiamo open source il corpus Open-HumanScale-50K, le pipeline di selezione dei dati e di pretraining, insieme ai checkpoint di HumanWAM preaddestrati e post-addestrati, al codice di inferenza e alle suite di valutazione in simulazione.