DexForesight: ancorare le policy di manipolazione con destrezza grazie alla previsione spaziale implicita

Abstract degli autori

La manipolazione con destrezza richiede una ricca capacità di anticipazione spaziale, sia della scena circostante sia della mano robotica. I modelli mondo-azione esistenti acquisiscono spesso conoscenze predittive di questo tipo attraverso la previsione esplicita del futuro. Presentiamo DexForesight, un framework che apprende implicitamente ad anticipare lo spazio, introducendo rappresentazioni del mondo consapevoli della dinamica nello spazio latente di una policy di manipolazione con destrezza. Durante l’addestramento, DexForesight apprende un modello spaziale del mondo condizionato dalle azioni, a partire dalla profondità della scena offline, dalla geometria cinematica della mano e da traiettorie dimostrative. Il modello del mondo predice il movimento dei punti della mano in 3D e i cambiamenti delle caratteristiche visive, cogliendo sia la dinamica articolata della mano sia i cambiamenti della scena in risposta alle azioni dimostrate, compreso il movimento delle dita occluse dalle telecamere. Congeliamo quindi il modello del mondo e allineiamo le query della policy alle sue query predittive, trasferendo la dinamica spaziale appresa ai latenti della policy e usandola per condizionare la generazione delle azioni. In fase di esecuzione, viene mantenuta solo la policy, che opera su osservazioni RGB, linguaggio e stato del robot, senza input di profondità né previsioni esplicite del futuro. Su 11 task di simulazione DexJoCo, DexForesight migliora il tasso di successo complessivo della policy di base dal 49,4% al 60,5%. Su tre task di manipolazione con destrezza eseguiti con un robot reale, DexForesight raggiunge un tasso di successo del 58,3%, contro il 50,0% del baseline più performante. Pagina del progetto: https://dexforesight.github.io/