SpaceFlow: generazione 3D controllabile localmente

Abstract degli autori

Gli attuali metodi di generazione 3D non offrono un controllo locale esplicito: l’aderenza geometrica è spesso definita da un livello globale di controllo e l’aspetto non può essere specificato localmente. Presentiamo SpaceFlow, una pipeline che non richiede addestramento per generare modelli 3D controllabili localmente a partire da descrizioni testuali e da un insieme di primitive geometriche. Ogni primitiva rappresenta una parte di un oggetto e riceve un livello di controllo locale, consentendo agli utenti di specificare se una regione debba seguire rigorosamente la forma fornita in input o ammettere un completamento generativo. Durante la generazione della struttura, imponiamo questi vincoli spaziali nel processo di flow generativo. Per la sintesi dell’aspetto, la struttura generata viene segmentata e le sue parti vengono associate alle primitive. Ogni parte generata è condizionata soltanto dall’indicazione testuale o visiva che le è stata assegnata, limitando così le interferenze tra parti. Le metriche geometriche regionali mostrano che SpaceFlow preserva la geometria specificata nelle regioni con un alto livello di controllo e consente variazioni plausibili della forma nelle aree con un basso livello di controllo. Uno studio con utenti indica inoltre che l’equilibrio risultante tra fedeltà geometrica e libertà generativa resta competitivo in termini di qualità complessiva. Nella valutazione dell’aspetto su una geometria fissa, l’instradamento condizionato dal testo raggiunge risultati allo stato dell’arte per fedeltà al prompt e accuratezza del colore e dei materiali. I risultati qualitativi mostrano inoltre un instradamento localizzato delle indicazioni visive. La pagina del progetto è disponibile all’indirizzo SpaceFlow3D.github.io.