Kirin: generazione del movimento degli animali da video girati in ambienti non controllati

Abstract degli autori

Comprendere il movimento degli animali è fondamentale per modellarne il comportamento e la biomeccanica. I progressi in questo campo, tuttavia, sono molto più lenti rispetto alla ricerca sul movimento umano, a causa della scarsità di dati di alta qualità. Il movimento umano può essere acquisito in ambienti controllati, ma per la maggior parte delle specie animali farlo non è praticabile. Ne derivano dataset piccoli e limitati a specifici ambiti, che frenano applicazioni successive come l’animazione. Per affrontare questa difficoltà, presentiamo Kirin, un framework che ricostruisce il movimento dai video, apprende modelli a priori del movimento su larga scala e genera movimenti realistici applicabili direttamente a risorse per l’animazione. Utilizzando ampie raccolte di video di animali girati in ambienti non controllati, ricostruiamo sequenze di movimento 3D e le associamo a didascalie per creare AiM3D, il primo dataset su larga scala di terne allineate di video, testo e movimento relative ad animali quadrupedi. A partire da questo dataset, sviluppiamo un modello di generazione del movimento guidato da informazioni visive, che usa sia il testo sia le immagini come condizioni per generare movimenti realistici per diverse specie animali. Infine, sfruttando un modello preesistente che genera oggetti 3D a partire da immagini, dotiamo automaticamente di rig le mesh 3D e le animiamo con i movimenti generati, ottenendo animali animati pronti per il rendering. Insieme, il nostro dataset e il nostro framework pongono nuove basi per la generazione e l’animazione su larga scala del movimento degli animali, condizionate da testo e immagini. Pagina del progetto: https://kirin-ani.github.io/.