L3G-World: generazione infinita di mondi in tempo reale con memoria latente di gaussiane 3D

Abstract degli autori

I modelli interattivi del mondo generano contenuti visivi in base alle azioni degli utenti, ma mantenere la coerenza spaziale durante esplorazioni prolungate in tempo reale resta difficile. Gli approcci esistenti si basano sul contesto temporale oppure su una memoria 3D esplicita; entrambi scalano male, perché la memoria cresce con la lunghezza del flusso generato. Inoltre, le memorie 3D esplicite condizionano i generatori di video latenti ri-codificando i rendering RGB, impedendo così la generazione in tempo reale. In questo articolo presentiamo una memoria gaussiana 3D latente (L3G), che combina l’efficienza della ricostruzione feed-forward con una rappresentazione della scena compatta e rapidamente renderizzabile. Basandoci su questa memoria, proponiamo L3G-World, in cui un aggiornamento della memoria e un transformer di diffusione video (DiT) si alternano in modo autoregressivo per generare mondi spazialmente coerenti. L’aggiornamento della memoria crea gaussiane nelle regioni appena osservate e perfeziona quelle esistenti, così che la memoria cresca con l’estensione della scena anziché con la lunghezza del flusso. Ogni gaussiana memorizza inoltre una feature latente VAE, consentendo di renderizzare la memoria direttamente nello spazio latente del DiT senza ri-codifica VAE. Gli esperimenti mostrano che L3G-World raggiunge risultati all’avanguardia nella qualità della generazione e nella coerenza spaziale su orizzonti lunghi, con fino a $38.6\times$ primitive 3D in meno, aggiornamenti della memoria $3.2\times$ più veloci e rendering della memoria $359\times$ più veloce rispetto al baseline precedente basato su memoria 3D più efficiente per ciascuna metrica, consentendo la generazione di mondi in tempo reale a 9 FPS.