VolCo: contatto volumetrico per la generazione di prese della mano umana ad alta fedeltà

Abstract degli autori

Modellare accuratamente il contatto è fondamentale per comprendere l’interazione tra mano e oggetto. Le rappresentazioni esistenti, tuttavia, sono in genere limitate alle superfici degli oggetti e si affidano a regole definite manualmente per ricostruire i dettagli del contatto, producendo gravi compenetrazioni e risultati poco plausibili. Per sfruttare meglio la ricchezza di dettagli dei dati di motion capture, presentiamo Volumetric Contact (VolCo), una rappresentazione che estende i punti sulla superficie a un insieme di griglie volumetriche 3D. VolCo codifica il contatto in 3D, consentendo di ricostruire con precisione le parti della mano, ed è organizzato secondo una gerarchia intrinseca: i dettagli locali del contatto all’interno di ciascun volume e la geometria globale della mano nell’insieme dei volumi. Il nostro framework, VolCoDiff, impiega due moduli per acquisire le caratteristiche locali e globali secondo questa gerarchia. Per i dettagli locali del contatto, usiamo un autoencoder variazionale 3D per modellare le possibili configurazioni della mano condizionate dal campo di distanza con segno (SDF) locale dell’oggetto. Per la geometria globale della mano, progettiamo un modello di diffusione guidato da una distribuzione a priori che apprende la distribuzione delle caratteristiche latenti compresse aggregate dalle griglie volumetriche. Valutiamo il nostro metodo su due dataset benchmark e dimostriamo prestazioni allo stato dell’arte in termini di compenetrazione e stabilità, a indicare la capacità di generare prese aderenti con compenetrazioni molto meno gravi. Il nostro codice è disponibile all’indirizzo https://github.com/chzh9311/volco.