DeformSmith: generazione gerarchica di asset deformabili guidata da un ambiente di prova fisico, per la manipolazione robotica

Abstract degli autori

La creazione di asset deformabili per la manipolazione robotica richiede di specificarne congiuntamente la geometria, l’aspetto e le proprietà fisiche. Questo è particolarmente difficile per gli oggetti deformabili, perché testi e immagini forniscono pochi indizi su come si deformano e reagiscono al contatto, eppure queste risposte influiscono direttamente sulla loro idoneità all’interazione. La generazione automatizzata deve quindi soddisfare requisiti fisici interdipendenti e usare le evidenze raccolte durante l’interazione per guidare la costruzione e il perfezionamento. Presentiamo DeformSmith, un framework che consente di generare automaticamente asset deformabili interattivi e fisicamente plausibili a partire da un testo o da una singola immagine. Attraverso una costruzione gerarchica basata su agenti e un ambiente di prova condiviso fondato sulla fisica, il framework costruisce, verifica e perfeziona progressivamente la geometria, i modelli fisici, il comportamento dei materiali e l’interazione con il robot, finché l’asset risultante non è pronto per la simulazione e la manipolazione. L’interazione con il robot chiude il ciclo di generazione grazie al feedback ottenuto durante la manipolazione e a dati di interazione riproducibili. I risultati mostrano che DeformSmith genera asset di qualità visiva e plausibilità fisica superiori a quelle dei metodi di riferimento all’avanguardia, tra cui PhysGen3D, PhysGM e PhysX-Omni, e consente inoltre di sintetizzare dati per la manipolazione robotica di oggetti deformabili. Pagina del progetto: https://can-lee.github.io/deformsmith-web/