OmniLatent: spazio latente unificato per la modellazione delle parti 3D

Abstract degli autori

La decomposizione in parti 3D è una capacità fondamentale per creare asset modificabili, eppure i flussi di lavoro esistenti segmentano in genere una mesh completata in una fase di post-elaborazione, rendendo il risultato sensibile agli artefatti geometrici, all’ambiguità delle texture e alla scarsità di annotazioni a livello di parte. Presentiamo OmniLatent, un framework di modellazione basato su uno spazio latente unificato per la decomposizione in parti 3D. Invece di prevedere separatamente le etichette delle parti, OmniLatent apprende uno spazio latente condiviso che codifica congiuntamente geometria, deformazione, aspetto e ID binari delle parti, consentendo a priori geometrici e visivi ricchi di dati di sostenere l’apprendimento delle parti in condizioni di scarsità di dati. A partire da una singola immagine in ingresso, il modello di base genera in un unico passaggio geometria, deformazione, texture e ID delle parti sulla superficie, producendo un asset 3D che tiene conto delle parti senza bisogno di una fase di segmentazione separata. Adattiamo inoltre il modello preaddestrato per due estensioni: un adattatore per prompt puntuali che converte prompt arbitrari di punti 3D, corredati di ID binari delle parti, in token latenti per ottenere segmentazioni complete, rifinire i risultati e suddividere le parti; e un modello di completamento amodale delle parti, che completa maschere parziali della superficie fino a ottenere una decomposizione coerente dell’intero oggetto, grazie all’allocazione dinamica di token per ciascuna parte, all’attenzione incrociata verso la rappresentazione latente della geometria fornita e all’alternanza tra attenzione locale alle parti e attenzione globale. Esperimenti approfonditi mostrano che OmniLatent produce segmentazioni delle parti semanticamente significative e dai confini precisi, consente la modifica interattiva delle parti e completa osservazioni parziali delle parti preservando la coerenza globale dell’oggetto.