Mobile-4DGS: Gaussian Splatting statico e dinamico unificato in tempo reale su dispositivi mobili

Abstract degli autori

I recenti progressi nel Gaussian Splatting 3D (3DGS) hanno prodotto risultati notevoli nella sintesi di nuove viste. Tuttavia, l’impiego di rappresentazioni gaussiane sia statiche sia dinamiche su dispositivi mobili con risorse limitate resta difficile a causa degli elevati requisiti di archiviazione, delle primitive ridondanti e degli onerosi calcoli per ogni fotogramma. Presentiamo Mobile-4DGS, un framework unificato e leggero per il rendering gaussiano statico e dinamico ad alta fedeltà e in tempo reale su piattaforme mobili. Per rappresentare l’aspetto in modo compatto, introduciamo un aggregatore Monte Carlo dell’energia speculare che comprime i residui di radianza di ordine elevato nelle armoniche sferiche (SH) del primo ordine, insieme a un modulo di miglioramento delle SH condizionato dagli attributi, i cui offset previsti vengono precalcolati prima dell’inferenza. Proponiamo inoltre una strategia di densificazione e potatura basata sull’alpha di più viste, per ridurre le primitive ridondanti preservando la coerenza tra le viste. Per le scene dinamiche sviluppiamo una rappresentazione 4D esplicita e compatta, costruita mediante un moto gaussiano del secondo ordine, un supporto temporale apprendibile e una partizione binaria tra componenti statiche e dinamiche. Questa rappresentazione consente di modellare il tempo continuo senza reti di deformazione durante l’esecuzione. Sulla base di tale partizione, un certificato dell’ordine di profondità riutilizza selettivamente ordini di profondità già fissati, riducendo durante la riproduzione le riproiezioni, gli ordinamenti, le fusioni e gli aggiornamenti del buffer degli indici. Esperimenti approfonditi su scene statiche e dinamiche dimostrano che Mobile-4DGS riduce sostanzialmente i requisiti di archiviazione e il carico di rendering, mantenendo una qualità visiva competitiva e consentendo il Gaussian Splatting 3D e 4D in tempo reale su dispositivi mobili. \textcolor{magenta}{\href{https://xiaobiaodu.github.io/mobile-4dgs-project/}{Code has been released: https://xiaobiaodu.github.io/mobile-4dgs-project/}}.