Rendering di splat gaussiani 3D basato su transformer

Abstract degli autori

Una rete neurale può imparare a renderizzare splat gaussiani 3D da sola, senza un rasterizzatore nel renderer? Presentiamo GaussianRenderFormer, un transformer che prende in input un insieme di gaussiane e una telecamera e restituisce direttamente l’immagine. Ogni gaussiana diventa un token in un encoder indipendente dalla vista, mentre un decoder dipendente dalla vista trasforma in pixel piccoli patch di raggi della telecamera, prestando attenzione a quei token. Addestrato su 26.820 oggetti di Objaverse ridotti a 20.000 gaussiane ciascuno, GaussianRenderFormer renderizza 300 oggetti mai visti prima con un PSNR di 38,08 dB rispetto agli splat completi, non ridotti; la rasterizzazione dello stesso input ridotto raggiunge invece 44,02 dB. Il divario non è dovuto alla generalizzazione e le nostre analisi diagnostiche sono compatibili con un collo di bottiglia nel decoder dipendente dalla vista: indicargli l’impronta proiettata di ciascuna gaussiana, che in linea di principio potrebbe inferire da sé, aggiunge 1,4 dB. Non si può escludere un addestramento insufficiente. Codice, modelli addestrati e video: https://svlwoof.github.io/gaussianrenderformer