CoLa3D: Decomposizione latente 3D componibile

Abstract degli autori

Presentiamo CoLa3D, un modello semplice ed efficace per la decomposizione componibile di scene 3D che, ricevendo in input un singolo latente dell’intera scena ricavato da una singola immagine o da una mesh di scena esistente, restituisce direttamente un insieme di mesh di oggetti con una disposizione spaziale coerente, assemblabili nuovamente in una scena coerente. CoLa3D introduce un nuovo paradigma per la decomposizione di scene 3D all’interno di un latente condiviso dell’intera scena, a differenza delle alternative che generano gli oggetti singolarmente in spazi canonici e poi li ricompongono tramite una stima fragile della posa e della scala. La rete è un transformer leggero, flessibile e scalabile, basato su query, che accetta vari tipi di query, tra cui maschere 2D, punti 3D e query apprendibili, e impara a decomporre la scena in oggetti in uno spazio latente compatto. Sia sui dataset sintetici sia su quelli del mondo reale, CoLa3D raggiunge prestazioni allo stato dell’arte nella decomposizione componibile di scene 3D, migliorando sostanzialmente la coerenza globale a livello di scena e la qualità a livello di oggetto, pur funzionando 2 volte più velocemente e utilizzando meno dell’1% dei dati di addestramento di SAM 3D. Una profondità visibile alla pari con MoGe2 conferma ulteriormente che la decomposizione latente preserva con precisione la geometria visibile della scena, producendo al contempo mesh di oggetti fisicamente complete e scomponibili.