RoboTryOn: sintetizzare dimostrazioni di robot dotati di destrezza a partire da video umani tramite la prova virtuale

Abstract degli autori

I modelli fondazionali per la robotica hanno mostrato prestazioni notevoli nel controllo dei robot, ma il loro adattamento a nuovi compiti dipende ancora in larga misura da dimostrazioni teleoperate. I video umani in prima persona offrono un’alternativa scalabile, ma sovrapporre robot renderizzati ai video umani o ritargettizzare le pose umane trasformandole in azioni robotiche lascia notevoli divari visivi o di azione nel caso di robot con molti gradi di libertà. Per affrontare questo limite, proponiamo RoboTryOn, che considera la traduzione da umano a robot come una prova virtuale: nella prova si mantiene la persona e si sostituisce l’indumento; RoboTryOn mantiene il movimento dimostrato e sostituisce l’umano con il robot. In particolare, RoboTryOn converte un video umano in un video del robot bersaglio, definito tramite un’immagine di riferimento, preservando il compito, gli oggetti e lo sfondo originali. Per mantenere la coerenza visiva, traduciamo in modo autoregressivo fotogrammi chiave selezionati e li usiamo per guidare la sintesi video, condizionata dal movimento dello scheletro della mano umana. Inoltre, usiamo un modello di dinamica inversa (IDM) che integra caratteristiche di profondità per inferire etichette di azione dai video sintetizzati, ai fini dell’apprendimento delle policy. I nostri esperimenti su diverse configurazioni robotiche umanoidi mostrano che le policy addestrate con i nostri dati sintetici aumentano il tasso medio di successo nei nuovi compiti, compresi quelli impegnativi di manipolazione bimanuale, dal 2% al 60%, senza alcuna dimostrazione reale di quei compiti da parte di un robot. Inoltre, l’addestramento con i nostri dati sintetici raggiunge prestazioni pari a quelle delle policy addestrate esclusivamente con dimostrazioni teleoperate, a circa un terzo del costo di raccolta, dimostrando l’efficienza in termini di costi del nostro approccio.