HuGe: modelli generalisti visione-linguaggio-azione per robot umanoidi su larga scala con esperienza egocentrica

Abstract degli autori

Estendere i modelli visione-linguaggio-azione (VLA) ai robot umanoidi richiede un controllo coordinato dell’intero corpo e dimostrazioni diversificate, la cui raccolta in scenari reali è costosa. Sebbene le dimostrazioni umane egocentriche forniscano una fonte complementare di esperienza nello svolgimento dei compiti, le differenze nell’incarnazione visiva e l’assenza della propriocezione del robot rendono più difficile il trasferimento alle policy dei robot umanoidi. Per affrontare queste sfide, presentiamo HuGe, una famiglia di VLA generalisti per robot umanoidi, pre-addestrati su oltre 2.000 ore di dati egocentrici umani e robotici. In particolare, HuGe impiega tre architetture VLA rappresentative già esistenti per prevedere token di movimento latenti destinati a un controller pre-addestrato dell’intero corpo, insieme a segnali di controllo delle mani. Su questa base, presentiamo una pipeline di addestramento in tre fasi che combina pre-addestramento egocentrico, adattamento ai robot umanoidi e fine-tuning sui compiti specifici. Per facilitare il trasferimento tra diverse incarnazioni, durante il pre-addestramento costruiamo stati pseudo-propriocettivi attraverso la riproduzione in simulazione e, durante il fine-tuning sui compiti specifici, modifichiamo l’aspetto delle braccia nelle osservazioni egocentriche mediante re-rendering. Con questa pipeline, HuGe raggiunge risultati allo stato dell’arte sul benchmark di simulazione HumanoidArena. Inoltre, gli esperimenti nel mondo reale su Unitree G1 indicano che integrare le dimostrazioni robotiche con dimostrazioni egocentriche adattate visivamente aumenta in modo significativo il successo in un compito di raccolta e rilascio.