USDCraft: modellazione programmatica di asset 3D articolati ancorata alla geometria per la simulazione

Abstract degli autori

Gli asset 3D articolati, geometricamente fedeli e funzionanti, sono essenziali per la manipolazione robotica che passa dal mondo reale alla simulazione: le politiche addestrate in simulazione devono infatti trasferirsi agli oggetti fisici. I recenti metodi basati su mesh imparano a ricavare le articolazioni da asset 3D annotati, ma il loro impiego resta difficile quando gli oggetti reali non rientrano nella distribuzione dei dati di addestramento o le loro mesh sono incomplete o danneggiate. Per superare questi limiti, formuliamo la ricostruzione di asset articolati come una modellazione programmatica ancorata a evidenze geometriche parziali e presentiamo USDCraft, un framework in cui un LLM preaddestrato scrive e rivede programmi eseguibili per creare asset articolati pronti per la simulazione, senza addestramento specifico per il compito. Proponiamo un’analisi della geometria di origine che converte la mesh di partenza in una descrizione testuale metrica, distinguendo la superficie osservata dallo spazio sconosciuto, e una verifica geometrica iterativa che ricodifica ogni candidato nella stessa rappresentazione: le discrepanze indicano così le modifiche da apportare al programma, mentre le regioni non osservate restano aperte al completamento. Il feedback visivo e le indicazioni per la definizione delle proprietà fisiche completano il processo di modellazione, che produce asset USD articolati con proprietà fisiche esplicite, caricabili in Isaac Sim senza interventi manuali. Gli esperimenti mostrano risultati di punta nel recupero delle articolazioni su due benchmark e confermano l’efficacia di USDCraft per la manipolazione robotica dal mondo reale alla simulazione e di nuovo al mondo reale.