InterMimicGen: ampliare la locomozione e la manipolazione degli umanoidi attraverso l’imitazione autoevolutiva del movimento

Abstract degli autori

Le interazioni tra esseri umani e oggetti acquisite tramite cattura del movimento offrono dati ricchi per l’addestramento della locomozione e della manipolazione degli umanoidi, ma sono sparse, eterogenee e non direttamente eseguibili dai robot. Presentiamo InterMimicGen, un sistema di imitazione del movimento che si evolve autonomamente, nel quale i dati di movimento dei robot e una policy di tracking si migliorano a vicenda. Per prima cosa, riuniamo dataset di interazioni tra esseri umani e oggetti acquisite tramite cattura del movimento e ne adattiamo i movimenti per ottenere riferimenti per robot umanoidi, preservando la coordinazione dell’intero corpo e le relazioni tra mani e oggetti che richiedono destrezza. Ne risulta una raccolta ampia e diversificata di movimenti di riferimento per robot umanoidi, destinata alla locomozione e alla manipolazione con destrezza dell’intero corpo. In secondo luogo, addestriamo un sistema generalista di tracking basato sulla fisica che esegue questi movimenti di riferimento in simulazione su un umanoide dotato di mani capaci di movimenti di destrezza, raggiungendo una scala e una varietà superiori a quelle dei precedenti sistemi di tracking per la locomozione e la manipolazione degli umanoidi. In terzo luogo, creiamo un ciclo di miglioramento dei dati: a ogni iterazione apportiamo piccole modifiche, che preservano il compito, al luogo in cui avviene un’interazione e al modo in cui il corpo la esegue; sottoponiamo il sistema di tracking a fine-tuning su queste varianti e conserviamo soltanto quelle la cui esecuzione simulata porta a termine il compito, usandole come base per l’iterazione successiva. Con il susseguirsi delle iterazioni, queste piccole modifiche ampliano progressivamente la gamma di movimenti attorno alle dimostrazioni originali, che sono sparse, preservando il significato del compito e la qualità del movimento. Gli esperimenti mostrano un adattamento dei movimenti a diverse configurazioni robotiche che preserva i contatti, un tracking ad ampio spettro con un’unica policy generalista, un insieme di movimenti eseguibili che continua a crescere nelle successive iterazioni di ampliamento dei dati e il trasferimento a robot reali. InterMimicGen offre un percorso unitario che, partendo da dimostrazioni umane eterogenee, porta a una risorsa di movimenti in continua espansione per l’apprendimento dei robot umanoidi.