Ripensare il 3D Gaussian Splatting con poche viste: l’apprendimento con pochi esempi per prevenire l’overfitting

Abstract degli autori

La sintesi di nuove viste a partire da poche viste (NVS) è essenziale per le applicazioni di AR/VR e di comunicazione in tempo reale, ma ricostruire scene 3D da un numero limitato di punti di vista resta difficile. Il 3D Gaussian Splatting (3DGS) offre ottimi risultati quando le viste sono numerose, ma con input limitati è soggetto a overfitting e a un degrado della geometria. Gli approcci attuali affrontano spesso questi problemi da una prospettiva locale, intervenendo separatamente sulla qualità dei dati o sulla regolarizzazione dell’addestramento, senza un quadro unitario e interpretabile che consenta miglioramenti sistematici. Proponiamo una nuova prospettiva che riformula il 3DGS con poche viste in termini di apprendimento con pochi esempi: trattiamo ogni primitiva gaussiana come un neurone e applichiamo tecniche di regolarizzazione del deep learning. In questo quadro unitario, il nostro approccio ricava segnali di supervisione più efficaci dalle poche osservazioni disponibili attraverso due strategie: (1) l’arricchimento della supervisione relativa ai dati mediante la sintesi di pseudo-viste guidata dal flusso ottico e l’ottimizzazione congiunta della camera e della scena; (2) la regolarizzazione durante l’addestramento mediante dropout sensibile al movimento e arresto anticipato, che limitano l’overfitting preservando al tempo stesso la stabilità delle scene dinamiche. Ampi esperimenti sul dataset con poche viste della SIGGRAPH Asia 2025 volumetric video challenge mostrano miglioramenti significativi rispetto a baseline allo stato dell’arte basate sull’ottimizzazione e feed-forward. Il nostro sistema si è classificato al primo posto nella categoria con poche viste della SIGGRAPH Asia 2025 challenge.