SynthGait-19K: un dataset di video sintetici fondato sulla fisica per la stima dei parametri del cammino

Abstract degli autori

Stimare con precisione, da video monoculari, parametri del cammino clinicamente rilevanti è importante per valutare la mobilità su larga scala. I progressi, tuttavia, sono limitati dalle dimensioni ridotte dei dataset esistenti, dalla varietà ristretta dei punti di vista e dalla loro limitata diversità visiva. Presentiamo SynthGait-19k, un dataset di video sintetici fondato sulla fisica che contiene 19.272 video di persone che camminano, ricavati da 6.427 sequenze MoCap relative a 437 soggetti, con dati di movimento SMPL abbinati e annotazioni per sei parametri del cammino. Per costruire il dataset sviluppiamo Gait2Vid, che unifica registrazioni MoCap eterogenee tramite SMPL e sintetizza diversi video RGB di persone che camminano, con punti di vista e aspetti delle scene controllabili. Valutiamo la coerenza dei video generati con la cinematica del cammino usata per condizionarli e convalidiamo gli eventi del cammino estratti confrontandoli con misurazioni effettuate mediante piattaforme di forza. Con SynthGait-19K confrontiamo su benchmark approcci che operano direttamente sui dati RGB, approcci basati sulla posa, approcci biomeccanici e approcci di ricostruzione della mesh umana, e analizziamo l’effetto del punto di vista, delle dimensioni dei dati di addestramento e dello scarto di dominio tra dati sintetici e reali. Presentiamo inoltre GaitXFormer come modello di riferimento per stimare i parametri del cammino direttamente dai dati RGB. La supervisione basata su dati sintetici si trasferisce efficacemente ai video reali sia con GaitXFormer sia con un’architettura basata sulla posa, dimostrando la sua utilità con rappresentazioni diverse. Rileviamo inoltre che i parametri spaziali del cammino sono più sensibili allo scarto di dominio visivo e che migliorare la sola ricostruzione HMR non comporta necessariamente una migliore stima dei parametri del cammino a valle.