Uno studio diagnostico sulla ricostruzione delle persone nello spazio globale con movimenti rapidi della telecamera

Abstract degli autori

I metodi di ricostruzione delle persone nello spazio globale da immagini monoculari ottengono ottimi risultati nei benchmark attuali, che però raramente includono movimenti rapidi della telecamera. Presentiamo K-Pop, uno stress test basato su video di danza trasmessi in televisione che combinano movimenti ampi e rapidi della telecamera con coreografie fitte eseguite da più persone. Su questi video, i metodi più avanzati producono mesh plausibili per ciascun fotogramma, ma le traiettorie nello spazio globale si allontanano notevolmente dalle posizioni dei performer sul palco. Attraverso un’analisi sistematica, mostriamo che le stime della telecamera e delle persone restano ciascuna coerente al proprio interno e che la deriva compare quando vengono combinate con fattori di scala non corrispondenti. Ciascuna viene ricostruita con un proprio fattore di scala: una discrepanza tra i due può quindi trasformare il movimento della telecamera in una deriva delle posizioni delle persone, che aumenta con lo spostamento della telecamera e diventa marcata nei video di danza trasmessi in televisione. Ricaviamo una correzione in forma chiusa che stima questa discrepanza e applica un unico fattore di scala a tutti i performer, eliminando la deriva e mantenendo le loro posizioni relative in un unico sistema di riferimento globale condiviso. Non richiede un nuovo addestramento e funziona con i backend esistenti. Combinata con vincoli fisici, la correzione consente una ricostruzione stabile nello spazio globale per la modellazione delle coreografie, la modifica delle scene, la generazione di dati e nuove riprese virtuali. Pagina del progetto: https://chien90190.github.io/worldhmr-fastcam-website/