Apprendere dalle modifiche automatiche a 3D Gaussian Splatting per rilevare online i cambiamenti nella scena con un approccio bayesiano

Abstract degli autori

Il rilevamento online dei cambiamenti nella scena richiede di integrare le osservazioni in arrivo per determinare quali regioni siano cambiate rispetto a una scena di riferimento. Aggiorniamo le probabilità di cambiamento man mano che arrivano nuove immagini, usando una fusione bayesiana generalizzata delle evidenze. Tuttavia, la probabilità a priori di cambiamento e i modelli delle evidenze non sono noti in anticipo, e l’inferenza bayesiana numerica può essere onerosa. Affrontiamo queste difficoltà apprendendo offline da modifiche automatiche apportate a un modello di riferimento di 3D Gaussian Splatting (3DGS). Le modifiche generano viste di addestramento etichettate senza annotazioni manuali. Insieme alle osservazioni inalterate della scena di riferimento, queste viste forniscono i dati per apprendere modelli delle evidenze specifici per la scena e stimare la probabilità a priori effettiva per pixel e le statistiche di risposta. La predizione online combina le evidenze attuali con il supporto storico, mentre fattori di Bayes locali in forma chiusa, parametrizzati in base alle statistiche di risposta apprese, aggiornano un campo accumulato di gaussiane 3D. Un affinamento guidato dagli oggetti produce le maschere finali dei cambiamenti. Il nostro metodo raggiunge un’accuratezza allo stato dell’arte su PASLCD e CCS3D, con una mIoU rispettivamente del $67.64\%$ e del $75.82\%$. Su PASLCD, la pipeline completa funziona a $17.2$\,FPS su sequenze di interrogazione complete: è la più veloce tra i metodi online valutati. Pagina del progetto: https://changruizhu96.github.io/work/lego-scd/