VLSplat: Gaussian Splatting 3D centrato sugli oggetti e guidato da visione-linguaggio tramite un grafo di scena

Abstract degli autori

L’apprendimento di rappresentazioni semantiche per il Gaussian Splatting 3D è emerso di recente come una direzione promettente per la comprensione delle scene 3D. Tuttavia, gli approcci esistenti di lifting semantico da 2D a 3D si basano principalmente sulla supervisione della segmentazione 2D e sono privi di prior a livello di oggetto; di conseguenza, la rappresentazione appresa è guidata dalle evidenze locali delle maschere anziché dalla struttura complessiva degli oggetti. In questo lavoro presentiamo VLSplat, un approccio guidato da visione-linguaggio per il lifting semantico incentrato sugli oggetti nel Gaussian Splatting 3D. Il nostro metodo integra il lifting basato su maschere con prior semantici a livello di oggetto derivati da modelli di visione-linguaggio e affina le rappresentazioni gaussiane usando un grafo di scena organizzato in gruppi di oggetti. L’affinamento avviene tramite due moduli guidati dal linguaggio: l’affinamento intra-gruppo riduce il rumore semantico all’interno dei gruppi di oggetti, mentre l’acquisizione inter-gruppo estende le regioni di supporto degli oggetti integrando candidati strutturalmente pertinenti provenienti dai gruppi vicini. Esperimenti approfonditi su dataset di scene al chiuso dimostrano che VLSplat migliora la coerenza semantica e la completezza strutturale delle categorie a livello di oggetto. Il nostro codice e i nostri modelli sono disponibili all’indirizzo https://vlsplat.github.io/.