SwitchSplat: apprendere gli stati discreti degli oggetti da scene acquisite in modo informale

Abstract degli autori

Il 3D Gaussian Splatting ha reso la ricostruzione 3D ad alta fedeltà rapida e accessibile, ma le rappresentazioni esistenti presuppongono un mondo statico. Questa ipotesi non regge nelle riprese informali, in cui l’utente interagisce spontaneamente con l’ambiente — aprendo porte, azionando interruttori o spostando oggetti — e introduce cambiamenti di stato discreti che nessun framework attuale è in grado di modellare. I metodi dinamici condizionati dal tempo, come 4DGS, confondono il momento in cui uno stato è stato osservato con lo stato in cui si trova la scena: possono quindi riprodurre le sequenze osservate, ma non comporre configurazioni arbitrarie degli oggetti. Presentiamo SwitchSplat, la prima rappresentazione 3DGS che affronta questo limite attraverso una scomposizione base+slot: una base statica condivisa cattura la parte invariabile della scena, mentre ogni slot contiene, indipendentemente dagli altri, i due stati binari (acceso/spento) di un oggetto con cui è possibile interagire. Poiché l’assegnazione delle gaussiane agli slot è interamente differenziabile, il modello ricava direttamente dal video la geometria di ciascuno stato, senza annotazioni manuali. In fase di inferenza, l’utente può combinare liberamente gli stati degli slot e ottenere il rendering della scena risultante da qualsiasi punto di vista. Valutiamo SwitchSplat su un nuovo dataset di riprese informali e mostriamo che supera le baseline statiche e dinamiche nella qualità della sintesi da nuovi punti di vista, consentendo inoltre, a differenza di queste, il rendering di combinazioni di stati mai osservate durante la ripresa. Pagina del progetto: https://switchsplat.github.io