AOV-GS: mappatura semantica attiva a vocabolario aperto con Gaussian splatting 3D

Abstract degli autori

I robot impiegati in ambienti pensati per le persone hanno bisogno di mappe che supportino sia la navigazione geometrica sia le interrogazioni semantiche a vocabolario aperto, oltre un insieme fisso di etichette. Una sfida fondamentale è arricchire queste mappe di informazioni semantiche senza ricorrere a maschere di segmentazione annotate manualmente o a categorie semantiche predefinite. I metodi esistenti di mappatura attiva basati sulla geometria massimizzano la copertura, ma trattano la semantica come un risultato collaterale passivo della traiettoria percorsa; la mappatura semantica attiva, invece, dipende in genere dalla segmentazione semantica supervisionata. Presentiamo AOV-GS, un sistema di mappatura attiva con Gaussian splatting 3D che guida l’esplorazione usando foundation model i cui parametri restano fissi. Durante l’esplorazione iniziale, AOV-GS riordina le viste candidate promettenti dal punto di vista geometrico in base alla novità degli embedding CLIP delle maschere, calcolata a partire dalla segmentazione delle istanze di SAM, orientando l’esplorazione verso regioni ricche di informazioni semantiche. SAM e CLIP, con parametri fissi, forniscono maschere delle istanze ed embedding allineati al linguaggio durante tutta la mappatura. Un campo linguistico leggero, specifico della scena, viene poi adattato offline direttamente agli embedding CLIP raccolti, anziché a maschere annotate manualmente: ciò consente la segmentazione di nuove viste mediante interrogazioni testuali a vocabolario aperto. In un confronto controllato che usa la stessa componente percettiva SAM-CLIP, AOV-GS migliora la mIoU media del campo linguistico rispetto alla pianificazione attiva basata solo sulla geometria di 1,3 punti percentuali su Replica (34,6% su otto scene) e di 1,8 punti su Matterport3D (23,1% su cinque scene). Con CorrCLIP, AOV-GS raggiunge il 35,6% su Replica, 2,0 punti sopra il termine di confronto Geometry-based + CorrCLIP nelle stesse condizioni. Il PSNR delle nuove viste resta paragonabile a quello del termine di confronto basato solo sulla geometria su entrambi i dataset, mentre l’errore L1 sulla profondità migliora su Replica. Il codice è disponibile all’indirizzo https://github.com/OptimusFaber/AOV-GS.