CosmoH2G: un dataset e un metodo di riferimento per trasferire i movimenti della mano a una pinza robotica nella manipolazione di oggetti con movimenti spaziali complessi

Abstract degli autori

Il trasferimento delle dimostrazioni eseguite con la mano umana alle pinze robotiche si è recentemente affermato come soluzione economicamente vantaggiosa per l’apprendimento dei robot. I metodi esistenti, tuttavia, si limitano perlopiù a compiti semplici e planari e non riescono a gestire movimenti spaziali complessi, come traiettorie intricate che includono rotazioni o capovolgimenti, essenziali per la manipolazione robotica. Per colmare questa lacuna, adottiamo un approccio implicito, basato sui dati e guidato dai movimenti dettagliati della posa della mano. A questo scopo, presentiamo una procedura di acquisizione scalabile per raccogliere dimostrazioni abbinate mano-pinza, regolata da un protocollo rigoroso che dà priorità alla complessità dei movimenti e si avvale di una pinza tenuta in mano per riprodurre le azioni senza interruzioni. Ne risulta un dataset su larga scala di dimostrazioni abbinate, composto da 6.189 episodi relativi a 1.254 oggetti distinti, con una complessità spaziale significativamente superiore a quella dei benchmark esistenti. Apprendere corrispondenze così complesse resta tuttavia difficile. Osserviamo che la semplice generazione end-to-end di sequenze complete delle pose della pinza non è sufficiente: in presenza di dinamiche intricate, anche piccole deviazioni della traiettoria si accumulano rapidamente. Per affrontare il problema, proponiamo un sistema in due fasi: la fase I prevede fotogrammi chiave sparsi della pinza, iniziale e finale, per semplificare l’obiettivo di apprendimento della corrispondenza; la fase II genera l’intera sequenza continua di azioni sulla base di questi fotogrammi chiave. Inoltre, per ridurre la deriva cumulativa, manteniamo l’orientamento della pinza così come appreso, ottimizzandone a posteriori la traslazione in base all’euristica di presa e alla coerenza cinematica. Negli esperimenti sia in simulazione sia con robot reali, il nostro sistema consente un trasferimento stabile e preciso dalla mano alla pinza per manipolazioni spaziali complesse, superando nettamente i metodi di riferimento tradizionali. Pagina del progetto: https://cosmoh2g.github.io.