World Observer: generazione congiunta di attore e osservatore per una modellazione persistente del mondo

Abstract degli autori

Come può un modello del mondo osservare continuamente le regioni al di fuori dell’attuale campo visivo dell’attore? I modelli del mondo basati su video simulano l’evoluzione di un ambiente in risposta alle azioni di un agente, ma restano incentrati sull’attore. Quando un oggetto esce dal campo visivo dell’attore, i modelli non hanno più evidenza diretta della sua evoluzione e spesso non riescono a conservarne lo stato e le dinamiche quando rientra. Per affrontare questo problema, presentiamo World Observer, che separa l’osservazione dall’azione generando congiuntamente un attore con vista prospettica, per la visuale centrata sull’agente, e uno o più osservatori panoramici che seguono regioni selezionate del mondo. Così, gli oggetti che escono dal campo visivo dell’attore possono continuare a evolversi visivamente nella visuale di un osservatore, e il loro stato aggiornato viene rispecchiato quando rientrano. Ancoriamo l’attore e gli osservatori mediante trasformazioni da una fonte panoramica condivisa, per ottenere una corrispondenza geometrica esplicita, e introduciamo un Observer Sink di riferimenti prospettici ad alta risoluzione per ripristinare i dettagli dell’aspetto degli oggetti quando rientrano. Poiché gli osservatori sono indipendenti dall’attore, possono essere collocati liberamente nella scena, distribuiti in più punti per ampliare la copertura e guidati da segnali di controllo per orientare l’evoluzione fuori dal campo visivo. Per valutare tale evoluzione, introduciamo inoltre metriche nello spazio del mondo e un benchmark che comprende scene reali e sintetiche. World Observer migliora sensibilmente la simulazione delle dinamiche fuori dal campo visivo, restando competitivo quanto a fedeltà visiva, controllo della telecamera e aderenza al 3D.