Orbia: i video generati formano un mondo 3D coerente?

Abstract degli autori

I generatori di video fungono da mondi interattivi per l’esplorazione e la simulazione, ma fotogrammi realistici e visivamente accattivanti non raffigurano necessariamente un mondo 3D coerente. I benchmark esistenti valutano proprietà geometriche selezionate oppure usano modelli visivo-linguistici per giudicare memoria e coerenza, lasciando poco esplorata la valutazione sistematica in 3D. Presentiamo Orbia, il primo benchmark dedicato a una valutazione sistematica e completa della coerenza 3D nei modelli di mondi interattivi. Attraverso esplorazioni e rivisitazioni controllate, organizziamo la valutazione in tre dimensioni: conservazione dell’input, persistenza dei contenuti generati e autocoerenza 3D. Per la conservazione dell’input, riferimenti RGB-D registrati e punti di ancoraggio annotati consentono di misurare aspetto, geometria e stabilità spaziale. Per la persistenza dei contenuti generati, confrontiamo le rivisitazioni di regioni assenti dall’immagine di input con le prime osservazioni generate di quelle regioni, per verificare se i modelli conservano ciò che creano. Per l’autocoerenza 3D, la corrispondenza della profondità e delle caratteristiche tra viste, la concordanza della scala tra regioni e il rendering gaussiano di viste tenute da parte verificano se le viste generate descrivono la stessa scena 3D. Esplorazioni e rivisitazioni della durata di un minuto mettono inoltre alla prova la coerenza a lungo termine. La nostra pipeline di costruzione e annotazione riunisce dataset pubblici, scene acquisite da noi e simulazione, producendo 720 istanze tra ambienti interni ed esterni e sei protocolli di esplorazione e rivisitazione. La valutazione comprende 27 modelli condizionati dal testo, dalle azioni e dalla fotocamera, tramite adattatori per le interfacce native. Il benchmark Orbia fornisce una base sistematica per diagnosticare le incoerenze 3D e sviluppare modelli di mondi video più persistenti.