Imitazione morfometrica: dal retargeting della mano che tiene conto della morfologia e dei contatti a una policy visuomotoria sim-to-real

Abstract degli autori

Le interazioni tra mano umana e oggetti (HOI) sono una ricca fonte di dimostrazioni per la manipolazione che richiede destrezza, ma apprendere direttamente da esse comporta difficoltà nel superare le differenze morfologiche, garantire la fattibilità dinamica e trasferire le policy dalla simulazione al mondo reale. Presentiamo Morphometric Imitation, un framework in tre fasi che trasforma le HOI ricostruite in policy visuomotorie sim-to-real zero-shot. In primo luogo, l’ottimizzazione morfometrica (MMO) esegue il retargeting cinematico dei movimenti umani tra mani con morfologie diverse, preservando i contatti mostrati nelle dimostrazioni. In secondo luogo, l’apprendimento per rinforzo (RL) residuale perfeziona il riferimento cinematico usando la posa dell’oggetto e le informazioni sui contatti ricavate dal movimento umano, per produrre dimostrazioni robotiche dinamicamente fattibili. In terzo luogo, queste dimostrazioni vengono distillate in policy visuomotorie. Su tre mani robotiche e dieci HOI, MMO migliora l’F1 relativo ai contatti di almeno 8 punti per ciascuna mano rispetto alla migliore di cinque baseline, aumentando anche fino a 35 punti il tasso di successo del successivo retargeting dinamico. Gli studi di ablazione sull’RL residuale mostrano benefici complementari derivanti dall’uso della posa dell’oggetto e delle informazioni sui contatti. Infine, le policy visuomotorie raggiungono un tasso di successo zero-shot dell’89,3% in 300 prove nel mondo reale su 30 oggetti. Pagina del progetto: $\href{https://morphometricimitation.github.io}{\text{this https URL}}$