DragonMoCap: acquisizione del movimento da video monoculare per diverse topologie di draghi

Abstract degli autori

Questo lavoro esplora l’acquisizione del movimento da video monoculare per personaggi di tipo drago, che attualmente si basa sull’animazione manuale mediante keyframe a causa della mancanza di dataset e modelli parametrici di alta qualità. L’ostacolo principale è l’estrema diversità topologica dei rig dei draghi: il numero variabile di articolazioni e le diverse convenzioni di denominazione rendono inapplicabili i tradizionali regressori a template fisso. Per affrontare il problema, introduciamo DragonMoCap, un nuovo framework che tratta il rig da animare come un input dinamico anziché come un assunto a priori fisso. Delimitando intenzionalmente il framework alle topologie più diffuse nella produzione, garantiamo risultati ad alta fedeltà per morfologie diverse. Il fulcro del nostro approccio è la progettazione di token di query per le articolazioni ancorati al linguaggio, che creano una rappresentazione con due proprietà: distinguere le articolazioni all’interno di un rig e mantenere la somiglianza tra rig diversi. Proponiamo inoltre un meccanismo non parametrico di recupero dei token di query che consente l’adattamento zero-shot a rig mai incontrati, senza riaddestramento. Valutazioni approfondite dimostrano che DragonMoCap supera sistematicamente i modelli di riferimento in stile HMR su diverse topologie di draghi. L’utilità pratica del nostro framework è ulteriormente attestata dalla sua integrazione nei flussi di lavoro professionali dell’animazione, che ne evidenzia il potenziale per applicazioni industriali in tempo reale.