Memoria planare persistente per i modelli del mondo video

Abstract degli autori

I modelli del mondo video che generano ed esplorano ambienti su larga scala hanno bisogno di una memoria 3D persistente di ciò che hanno prodotto. Le primitive planari sono una candidata naturale: un insieme compatto di piani orientati rappresenta i principali elementi strutturali delle scene interne ed esterne (per esempio pareti, pavimenti e facciate) e richiede solo 7 parametri per primitiva. Presentiamo PPMem, un modello del mondo video che usa primitive planari come memoria 3D persistente. PPMem aggiunge a un transformer di diffusione video una testa di predizione planare e un modulo Depth Token Fusion (DTF): ogni segmento autoregressivo produce congiuntamente un video RGB e una geometria planare, che viene integrata in una memoria persistente di piani. Questa memoria condiziona i segmenti successivi tramite la profondità ottenuta con il rendering. La memoria risultante è più compatta di tre ordini di grandezza rispetto alle nuvole di punti per pixel (~100K primitive, 5 MB per una scena completa), geometricamente esplicita (profondità metrica, normali, superfici esportabili), coerente tra diverse viste (grazie alla predizione congiunta da parte del backbone condiviso) e adattiva (affinata dalla procedura di fusione man mano che la generazione procede). Su DL3DV e RealEstate10K, PPMem supera i precedenti modelli del mondo basati su rappresentazioni 3D per qualità del video, producendo al contempo profondità in scala metrica, normali alle superfici e geometria planare esportabile, e mantiene la coerenza per centinaia di fotogrammi anche con ampi cambiamenti del punto di vista. Pagina del progetto: https://hyzcluster.github.io/ppmem.