PhyMo: apprendere la dinamica fisica e un moto accurato e continuo da video multivista

Abstract degli autori

Ricostruire da video multivista la geometria e l’aspetto di scene 3D dinamiche, insieme agli stati fisici del moto che ne governano l’evoluzione, è importante ma impegnativo. Una difficoltà fondamentale è che l’aspetto può ingannare. Con la sola supervisione del rendering, un modello può riprodurre le immagini osservate modificando il colore o l’opacità per compensare una deformazione inaccurata, anziché ricostruire la geometria e il moto nella loro effettiva evoluzione. Il problema è particolarmente grave nelle scene con un moto rapido o localmente complesso: traiettorie inaccurate possono comunque produrre immagini plausibili nei fotogrammi osservati, ma portare a ricostruzioni inaffidabili e a previsioni discontinue del moto futuro. In questo articolo proponiamo PhyMo, un framework per apprendere l’evoluzione della dinamica da video multivista. Introduciamo una Motion-Aware Trajectory Representation che induce il modello a ricostruire accuratamente il moto dalla deformazione, anziché affidarsi a scorciatoie basate sull’aspetto per spiegare il moto osservato. Su questa base proponiamo un modulo Continuous Motion Evolution con un vincolo bidirezionale di continuità cinematica, per favorire un’evoluzione temporalmente coerente di spostamento, velocità e accelerazione. Insieme, queste soluzioni consentono un’interpolazione fedele alla geometria e un’estrapolazione continua del moto. Gli esperimenti su quattro benchmark di scene dinamiche dimostrano prestazioni allo stato dell’arte.