EgoMo3R: ricostruzione congiunta del movimento egocentrico e della scena

Abstract degli autori

Comprendere il movimento umano 3D nel suo insieme e l’ambiente circostante a partire da video egocentrici è fondamentale per le applicazioni in AR/VR e nella robotica. Sebbene questi compiti siano intrinsecamente connessi, i metodi esistenti li trattano separatamente. In particolare, i metodi di ricostruzione del movimento egocentrico presuppongono in genere di poter accedere a traiettorie della telecamera metriche e allineate alla gravità, ricavate da sensori inerziali specializzati. Recuperare traiettorie di questo tipo da video egocentrici monoculari resta una sfida significativa, a causa dei rapidi movimenti della testa e della sfocatura da movimento. Presentiamo EgoMo3R, un framework di ottimizzazione congiunta che ricostruisce simultaneamente il movimento umano 3D e la geometria della scena a partire da video egocentrici ripresi in condizioni non controllate. Sfrutta la robustezza di primitive visuo-geometriche di basso livello, tra cui profondità monoculare, flusso ottico e tracce di punti, integrate con un prior di movimento umano basato sulla diffusione tramite ottimizzazione del primo ordine. Proponiamo uno schema di ottimizzazione alternata che crea un ciclo di feedback sinergico: la ricostruzione della scena fornisce un ancoraggio fisico e condiziona la traiettoria per il prior di movimento, mentre il prior di movimento regolarizza la traiettoria della telecamera e ancora la scena in un sistema di riferimento metrico del mondo, allineato alla gravità. Valutiamo EgoMo3R sulle sequenze altamente dinamiche dei dataset EgoExo4D e Nymeria e mostriamo che supera i baseline specializzati sia nella ricostruzione 3D della scena sia nella stima del movimento egocentrico.