Recupero generativo congiunto del movimento della mano in 2D e 3D condizionato dal video

Abstract degli autori

Ricostruire fedelmente il movimento 3D della mano a partire da un video resta difficile a causa delle frequenti occlusioni e delle osservazioni visive incomplete, che rendono le stime della posa fotogramma per fotogramma inaffidabili e incoerenti nel tempo. Per affrontare questo problema, proponiamo JoHan, un framework generativo unificato che ricostruisce il movimento della mano direttamente dalle sequenze video, senza basarsi su previsioni intermedie della posa per ogni fotogramma. Addestrato da zero, il nostro modello genera congiuntamente sequenze allineate di pose locali della mano in 2D e 3D, apprendendone la dinamica temporale e la corrispondenza tra le rappresentazioni. Le traiettorie 2D generate sfruttano gli indizi spaziali e temporali diretti delle immagini 2D per guidare la successiva ricostruzione generativa del movimento 3D, mentre il prior appreso del movimento favorisce la coerenza temporale. La corrispondenza appresa tra 2D e 3D permette inoltre di recuperare la posizione e l’orientamento globali della mano rispetto alla fotocamera. Ampi esperimenti su benchmark impegnativi mostrano miglioramenti significativi nell’accuratezza e nella velocità della ricostruzione della posa locale della mano e della ricostruzione nello spazio della fotocamera. In particolare, il nostro metodo riproduce molto meglio la dinamica del movimento della mano, producendo un movimento significativamente più fluido rispetto ai metodi precedenti e mantenendo al contempo un’elevata accuratezza della posa per ogni fotogramma.