ElasticFit: inserimento di oggetti 3D che tiene conto dello spazio disponibile mediante ragionamento dei VLM e adattamento generativo

Abstract degli autori

Inserire oggetti in scene 3D esistenti richiede più che scegliere una posizione plausibile: l’oggetto deve anche adattarsi alla geometria locale, preservando l’intento semantico e la plausibilità fisica. Sebbene i recenti modelli visivo-linguistici (VLM) e i modelli generativi consentano il ragionamento semantico e la creazione di contenuti visivi, offrono possibilità limitate di ancoraggio alla scena 3D e di controllo geometrico quando un oggetto deve entrare in uno spazio locale ristretto. Presentiamo \textbf{ElasticFit}, un framework guidato da un VLM per l’inserimento di oggetti che tiene conto dello spazio disponibile e si basa su una nuova rappresentazione ancorata alla scena. A partire da un’istruzione in linguaggio naturale e da immagini renderizzate della scena, ElasticFit ricava indicazioni strutturate che specificano dove l’oggetto debba poggiare, quale volume debba occupare, come debba essere orientato e quale modalità di adattamento usare: posizionamento rigido, ridimensionamento uniforme o adattamento elastico. Queste indicazioni trasformano il ragionamento di alto livello del VLM in vincoli 3D espliciti, che condizionano la generazione dell’oggetto e guidano il successivo adattamento geometrico. ElasticFit genera quindi un prior dell’oggetto condizionato dalla scena, lo ricostruisce in 3D e perfeziona la mesh secondo la modalità scelta, evitando le collisioni e garantendo la coerenza dei contatti e l’ancoraggio fisico. Nei confronti con baseline basate su asset fissi, ElasticFit porta il tasso di successo nelle relazioni spaziali dal 50,8\% al 69,7\% e quello relativo al supporto dal 48,3\% al 91,7\% rispetto alla baseline più performante, offrendo inoltre una nuova capacità di inserimento generativo in scenari complessi in cui l’oggetto viene «adattato allo spazio».