RenderFormer-V2: rendering neurale con primitive di scena eterogenee

Abstract degli autori

Presentiamo «RenderFormer-V2», un modello unificato di rendering neurale basato su transformer e appreso dai dati, complementare ai moderni sistemi di rendering basati sulla fisica. Il modello è in grado di gestire diversi effetti di trasporto della luce, tra cui caustiche, scattering volumetrico, illuminazione ambientale, superfici con texture e displacement e materiali fuori distribuzione, senza addestramento specifico per ogni scena né codice specializzato. RenderFormer-V2 modella il trasporto globale della luce come una trasformazione da sequenza a sequenza. Come il suo predecessore, RenderFormer-V2 adotta un processo in due fasi: una indipendente dal punto di vista, che risolve il trasporto tra primitive all’interno della scena, e una dipendente dal punto di vista, che trasforma la rappresentazione neurale interna della scena in pixel dell’immagine. A differenza di RenderFormer, nella fase indipendente dal punto di vista il nostro modello impiega una nuova combinazione di attenzione a finestre e attention sink guidato dal rendering, per migliorare la scalabilità mantenendo l’accuratezza del rendering. Per aumentarne ulteriormente la versatilità, RenderFormerV2 supporta primitive di scena eterogenee, tra cui mappe ambientali e mezzi partecipanti, e impiega una codifica dei materiali indipendente dal modello di riflettanza della superficie sottostante, che rappresenta l’aspetto dei materiali tramite un nuovo embedding neurale. Dimostriamo la versatilità di RenderFormer-V2 su una varietà di scene e conduciamo un’ampia analisi di ablazione del meccanismo di attenzione migliorato.