Spolverare il fantasma: allocazione delle gaussiane per contenuti dinamici che svaniscono

Abstract degli autori

Le rappresentazioni gaussiane dinamiche hanno reso sempre più praticabile la realizzazione di video volumetrici di alta qualità in tempo reale, ma i movimenti complessi possono ancora comprometterne la ricostruzione: gli oggetti piccoli e veloci possono scomparire e le texture fini nelle regioni molto dinamiche vanno spesso perdute. In particolare, anche prolungare l’addestramento o usare più gaussiane potrebbe non bastare a ricostruire oggetti piccoli e veloci. Sosteniamo che il principale ostacolo non sia la capacità di rappresentazione in sé, ma dove e quando vengono allocate le primitive gaussiane. Le strategie di allocazione esistenti si basano sulle posizioni attuali delle gaussiane e spesso trascurano le destinazioni spazio-temporali di quelle riposizionate. Per superare questi limiti, introduciamo due strategie complementari. La prima, Seed Injection, individua le regioni dinamiche ricostruite in modo insufficiente in base ai cambiamenti dell’aspetto nel tempo e agli errori di ricostruzione, e inizializza nuove gaussiane in posizioni 3D geometricamente plausibili mediante osservazioni da più punti di vista, indipendentemente dalle posizioni delle gaussiane esistenti. La seconda, Temporal Biased Relocation, usa segnali di ottimizzazione con risoluzione temporale per guidare il posizionamento spazio-temporale delle gaussiane riposizionate. Entrambe le strategie mantengono fisso il numero di gaussiane senza modificare la rappresentazione sottostante. Esperimenti condotti su diversi dataset di scene dinamiche mostrano un miglioramento della qualità della ricostruzione, soprattutto nelle regioni molto dinamiche, con il recupero di oggetti piccoli che si muovono rapidamente e di dettagli minuti dell’aspetto.