UniMate: un modello unificato per animare scheletri diversi

Abstract degli autori

I recenti progressi nel rigging automatico permettono ormai di produrre su larga scala risorse 3D pronte per l’animazione, ma generare i movimenti necessari ad animarle resta un collo di bottiglia. I modelli di animazione esistenti basati sull’apprendimento sono vincolati dalla topologia: si affidano a modelli predefiniti specifici per categoria oppure richiedono fine-tuning per ogni scheletro e movimenti di riferimento in fase di inferenza. Presentiamo UniMate, un modello di base unificato che genera movimenti articolati per scheletri arbitrari a partire da una risorsa 3D dotata di rigging e da un prompt testuale, senza ottimizzazione durante il test né nuovo addestramento per ciascuno scheletro. UniMate introduce un diffusion transformer sensibile alla topologia, che integra la topologia scheletrica nell’attenzione attraverso tre meccanismi: (1) un bias di attenzione basato sul grafo, ricavato dalle relazioni tra coppie di articolazioni e dalle distanze geodetiche; (2) un embedding posizionale rotativo spettrale che generalizza RoPE ad alberi cinematici arbitrari tramite il laplaciano del grafo; e (3) un condizionatore topologico globale ottenuto aggregando tramite attenzione le informazioni dello scheletro nella posa di riposo. Abbiamo inoltre creato UniML3D, una raccolta di 13.006 sequenze di movimento che comprendono bipedi, quadrupedi, uccelli, animali marini, insettoidi, creature serpentiformi e oggetti rigidi articolati, con canonicalizzazione e abbinamento a testi uniformi. Addestrato su questo dataset, UniMate supera i modelli di riferimento più avanzati per qualità, generalizzazione ed efficienza e supporta il trasferimento zero-shot tra topologie, la generazione di movimenti intermedi, l’espansione e la modifica guidata dal testo. La pagina del progetto è disponibile all’indirizzo https://linzhanmou.com/unimate/.