PointWAM: modellazione 3D del mondo e delle azioni per la manipolazione robotica con destrezza

Abstract degli autori

I modelli mondo-azione imparano congiuntamente a prevedere la dinamica del mondo e le azioni del robot, in modo che la dinamica del mondo appresa internamente guidi azioni precise. Gli approcci esistenti rappresentano in genere il mondo come fotogrammi RGB o loro corrispettivi latenti e prevedono le azioni come pose dell’effettore finale o angoli delle articolazioni, ma spesso faticano a cogliere la struttura spaziale 3D e la geometria dei contatti, fondamentali per la manipolazione con destrezza. Presentiamo Point World Action Model (PointWAM), un modello mondo-azione 3D che scompone il mondo in una scena (ossia l’ambiente) e nelle mani (ossia l’attore) e ne prevede congiuntamente l’evoluzione sotto forma di traiettorie di punti 3D in un sistema di coordinate spazio-temporali condiviso. Questa rappresentazione esplicita, che tiene separate le due componenti, consente un pre-addestramento efficace su video di dimostrazioni umane su larga scala, senza richiedere la selezione di oggetti o punti chiave specifici per il compito. Data una nuvola di punti colorati e un’istruzione in linguaggio naturale, PointWAM prevede come la scena e le mani evolvono insieme nello spazio 3D nel tempo, quindi adatta il movimento previsto delle mani alle azioni del robot. Il pre-addestramento su video di esseri umani aumenta di 56,9 punti percentuali il tasso medio di successo su DexJoCo, mentre la supervisione delle traiettorie della scena aggiunge 10,9 punti rispetto alla previsione delle sole mani. Combinando i due elementi, PointWAM supera di 11,7 punti i precedenti risultati migliori in dieci compiti DexJoCo e ottiene risultati migliori di solidi modelli VLA su un robot reale.