GATOR: ricostruzione generativa e agentica di oggetti 3D a partire da immagini informali

Abstract degli autori

Ricostruire oggetti 3D completi e allineati alla scena a partire da immagini informali richiede di integrare osservazioni sparse e incerte e di inferire le superfici nascoste dalle occlusioni. Presentiamo GATOR, un sistema generativo e agentico che ricostruisce asset di oggetti con texture e la loro posa rispetto alla scena a partire da una o più immagini. Il nostro modulo locale di fusione delle modalità combina caratteristiche RGB, delle maschere dell’oggetto bersaglio e delle mappe di punti allineate alle patch prima del ragionamento tra viste, preservando il contesto della scena e distinguendo al tempo stesso l’oggetto bersaglio da ciò che lo circonda. Il condizionamento semantico guidato dal testo integra questi indizi spaziali con nomi di categorie e descrizioni degli oggetti, attraverso adattatori specifici per le fasi di generazione della struttura, della geometria e dell’aspetto. L’asset generato fornisce a un agente multimodale la geometria e la posa specifiche dell’oggetto, consentendo un perfezionamento mirato della struttura e delle texture mediante un ciclo di modifica, rendering e revisione guidato dalle osservazioni. Su oggetti sintetici, tavoli ingombri di oggetti e scene di interni, GATOR ottiene un’elevata fedeltà geometrica e visiva, ricostruendo al contempo la posa rispetto alla scena da osservazioni sparse. I confronti a parità di tempo disponibile e le simulazioni a livello di scena dimostrano inoltre l’efficienza della ricostruzione e l’idoneità degli asset alla simulazione. Pagina del progetto: https://research.nvidia.com/labs/lpr/gator/