BLARM: animare oggetti 3D a partire da video combinando primitive latenti di movimento rigido

Abstract degli autori

Presentiamo BLARM, un metodo feed-forward per animare mesh 3D sulla base di un video. Date una mesh statica di un oggetto e un video monoculare, BLARM produce una mesh animata coerente nel tempo, il cui movimento segue quello del video. Anziché basarsi su rig espliciti o stimare direttamente il movimento dei vertici, che ha un’elevata dimensionalità, rappresentiamo l’animazione mediante un insieme compatto di componenti di movimento rigido appresi, variabili nel tempo, e pesi di skinning invarianti nel tempo che associano i vertici ai componenti. Si ottiene così uno spazio di deformazione a bassa dimensionalità senza richiedere scheletri, gabbie, pesi di skinning o annotazioni dei rig. La nostra architettura condiziona i latenti di deformazione ricavati dalla geometria alle caratteristiche del video mediante un meccanismo di attenzione spazio-temporale fattorizzata, quindi decodifica trasformazioni rigide combinate secondo i pesi di skinning previsti. Addestrato con la ricostruzione delle traiettorie, la regolarizzazione dell’entropia e l’apprendimento contrastivo che tiene conto del movimento, BLARM produce animazioni accurate e stabili nel tempo, ricostruendo al contempo una struttura del movimento compatta e interpretabile a partire da video monoculari.