SeMo3D: unificare generazione, modifica e completamento 3D attraverso la modellazione selettiva

Abstract degli autori

La generazione, la modifica e il completamento 3D vengono in genere trattati come processi di rigenerazione dell’intera risorsa 3D, soggetti a vincoli specifici per ciascun compito, anche quando è necessario modificare solo una porzione locale. Ciò comporta l’isolamento dei compiti, incoerenze nei contenuti che dovrebbero rimanere invariati e una dipendenza da dati appaiati specifici per ciascun compito. Affrontiamo questi problemi partendo da un’osservazione chiave: tutti e tre i compiti sintetizzano una regione designata mantenendo intatto il resto: l’intera regione per la generazione, la regione interessata per la modifica e la regione mancante per il completamento. Chiamiamo questo paradigma Selective Modeling e sviluppiamo SeMo3D sulla sua base; esso unifica naturalmente i tre compiti, preserva per costruzione i contenuti invariati e consente di addestrare il modello senza dati appaiati per la modifica o il completamento, poiché qualsiasi risorsa 3D può essere suddivisa in una regione selezionata e nel relativo contesto. Per l’addestramento, proponiamo il denoising selettivo per regione, che seleziona casualmente regioni di dimensioni variabili nelle risorse 3D standard e applica rumore e funzione di perdita solo a esse, apprendendo congiuntamente tutti e tre i compiti. Sul piano architetturale, proponiamo Omni3DiT, un transformer di diffusione 3D a condizioni multiple che distingue le regioni da creare da quelle da conservare e integra indicazioni basate su immagini, testo e punti per un controllo dettagliato. Gli esperimenti condotti su tre benchmark mostrano che SeMo3D supera i metodi allo stato dell’arte in tutti i compiti, offrendo controllabilità multimodale nella generazione e un’elevata coerenza e accuratezza nella modifica e nel completamento. SeMo3D funge inoltre da strumento di modellazione unificato per gli agenti, consentendo una creazione 3D efficiente attraverso l’interazione in linguaggio naturale. Pagina del progetto: https://xiaokunsun.github.io/SeMo3D.github.io/.