OmniPoser: recupero flessibile del movimento umano in contesti reali con Masked Flow Matching

Abstract degli autori

Ricostruire il movimento umano in 3D a partire da pochi sensori indossabili è difficile a causa del rumore, delle occlusioni e dell’instabilità intrinseci ai segnali di tracciamento del mondo reale. Gli approcci esistenti sono limitati a configurazioni fisse dei sensori e, quando si basano su modelli di diffusione, richiedono risorse computazionali eccessive per l’impiego in tempo reale. Proponiamo OmniPoser, un framework universale che ricostruisce il movimento SMPL dell’intero corpo da una combinazione flessibile di input eterogenei, come punti chiave 3D, rotazioni rilevate da un numero limitato di IMU, pose a 6 gradi di libertà rilevate da un dispositivo indossato sulla testa o qualsiasi loro sottoinsieme, utilizzando un unico modello. OmniPoser introduce un meccanismo di mascheramento intermodale abbinato a un Masked Conditioning Encoder, che consente a un’unica architettura di integrare diverse configurazioni di sensori grazie a una struttura basata sul mascheramento. Un’architettura generativa di base a due flussi disaccoppiati genera il movimento completo tramite Conditional Flow Matching e richiede un solo passo di integrazione ODE durante l’inferenza. In tre scenari e sette benchmark, inclusi i dataset Nymeria ed Ego-Exo4D raccolti in contesti reali, OmniPoser ottiene prestazioni pari a quelle dei metodi all’avanguardia, con una velocità superiore a 700 FPS. La pagina del progetto è disponibile all’indirizzo https://jamesbridgewater51.github.io/omniposer-eccv/.