GeoState: apprendere stati geometrici svincolati dal punto di vista per modellare mondi 3D

Abstract degli autori

I recenti modelli di mondi 3D usano sempre più spesso le feature dei modelli fondazionali per la geometria (GFMs) come stati del mondo da cui effettuare previsioni, sfruttandone le ricche conoscenze geometriche pregresse. Tuttavia, poiché queste feature dipendono dal punto di vista, la dinamica della scena si intreccia con le variazioni indotte dalla camera, rendendo più difficile prevedere l’evoluzione degli stati risultanti. Proponiamo GeoState, una rappresentazione geometrica svincolata dal punto di vista per la modellazione predittiva di mondi 3D, che separa l’evoluzione dello stato della scena dall’osservazione dipendente dalla camera. In particolare, un tokenizer della scena aggrega le feature GFM di più punti di vista in uno stato della scena svincolato dal punto di vista, che un decoder geometrico interroga usando i raggi della camera. Un modello del mondo autoregressivo prevede poi gli stati futuri della scena, mentre il movimento della camera viene modellato separatamente. Gli stati previsti possono quindi essere decodificati usando camere previste dal modello oppure specificate dall’esterno, mantenendo un’unica scala derivata dal contesto per tutta la sequenza di predizione, senza allineare la scala fotogramma per fotogramma. Gli esperimenti mostrano che GeoState supera i precedenti modelli di mondi 3D su Waymo, consente interrogazioni tra punti di vista geometricamente coerenti e generalizza in modalità zero-shot a KITTI e nuScenes. Pagina del progetto: https://hongchang-liu.github.io/GeoState-project-page/