Regolarizzazione guidata dalla complessità per il gaussian splatting generalizzabile di soggetti umani

Abstract degli autori

Studi recenti sul gaussian splatting generalizzabile di soggetti umani hanno compiuto notevoli progressi nella sintesi di nuove viste di soggetti mai osservati a partire da immagini multivista. Nonostante questi progressi, i metodi esistenti faticano ancora a rappresentare i dettagli più minuti dei soggetti umani, che presentano intrinsecamente un’elevata complessità geometrica e delle texture. Questo perché i metodi precedenti non impongono vincoli alla densità con cui vengono collocate le gaussiane, producendo spesso rendering sfocati nelle regioni complesse. Per affrontare il problema, proponiamo uno schema di regolarizzazione guidata dalla complessità. L’idea centrale è sfruttare un prior di complessità calcolato mediante l’entropia locale delle caratteristiche geometriche e delle texture di una persona vestita. Ciò impedisce che le gaussiane siano collocate in modo troppo rado nelle regioni complesse, facilitando la ricostruzione fedele delle strutture più articolate. Inoltre, in base a questo prior di complessità, campioniamo patch locali prevalentemente dalle regioni complesse, così che il modello riceva una supervisione sufficiente sui dettagli locali. I risultati sperimentali su dataset benchmark dimostrano che il nostro metodo raggiunge prestazioni all’avanguardia, mantenendo una velocità di inferenza in tempo reale nel gaussian splatting generalizzabile di soggetti umani. Il codice e il modello sono disponibili pubblicamente all’indirizzo https://github.com/DCVL-3D/CGR-GS_release.