InstantHand: 3D Gaussian Splatting feed-forward per la ricostruzione di avatar di mani animabili da una singola immagine

Abstract degli autori

La ricostruzione di avatar di mani si basa tipicamente su acquisizioni multi-vista o sull’ottimizzazione per soggetto, il che ne limita la scalabilità. Presentiamo InstantHand, un framework feed-forward che costruisce un avatar animabile di una mano in 3D con Gaussian Splatting a partire da una singola immagine, usando stime già disponibili di MANO, della fotocamera e della maschera, senza ottimizzazione in fase di test. Le funzioni di perdita mediate sull’immagine forniscono una supervisione insufficiente per contrastare la fuoriuscita dell’alpha, che ispessisce i contorni sottili delle dita. Per affrontare questo problema, proponiamo un regolarizzatore Soft Alpha Band che concentra la supervisione sui bordi della silhouette. Inoltre, i colori stimati dalle caratteristiche dell’immagine possono spostarsi verso un prior appreso anche nelle regioni osservate. Il nostro Reliability-gated Appearance Transfer preserva l’aspetto osservato trasferendo i colori sorgente in base al contributo di ciascuna gaussiana al rendering, mentre completa le regioni non osservate usando il prior appreso, condizionato dall’identità globale della sorgente. InstantHand costruisce un avatar in 2,84 secondi e lo renderizza a 161 FPS, eguagliando i baseline ottimizzati per soggetto su InterHand2.6M e mantenendo prestazioni competitive nella valutazione zero-shot su HanCo.