ROWBench: i modelli video mostrano ciò che il programma specifica?

Abstract degli autori

I modelli di mondo programmabili separano le dinamiche eseguibili dalla generazione visiva e offrono una base promettente per i motori di gioco di nuova generazione. Tuttavia, la loro aderenza visiva a regole e interazioni esplicite non è ancora stata valutata a sufficienza. I benchmark esistenti misurano la qualità visiva, la controllabilità e l’aderenza alle istruzioni o alla fisica, ma raramente verificano la fedeltà agli eventi del mondo specificati nel dettaglio dal programma. Presentiamo PROWBench, che comprende 170 episodi costruiti programmaticamente e 600 video proxy, con scene e interazioni diverse. PROWBench registra gli stati delle entità e gli eventi con timestamp, compresi quelli fuori dal campo visivo della telecamera, in registrazioni del mondo riproducibili, dalle quali genera viste sincronizzate e rappresentazioni proxy. Questo permette di confrontare i video generati con le conseguenze osservabili dell’esecuzione del programma. Un framework estensibile costruisce le scene, controlla i comportamenti e può rendere la vista di ciascuna telecamera in diverse rappresentazioni, come il 3D semplificato e le bounding box. Il benchmark comprende prospettive in prima e in terza persona, con osservazioni sincronizzate da più punti di vista disponibili per una parte degli episodi. Sulla base di queste registrazioni, PROWBench valuta il controllo delle entità, la memoria su lunghi orizzonti temporali e, mediante due metriche basate su VLM, Logic-Render Alignment e Interaction Success Rate, l’aderenza alla sequenza temporale prescritta e la resa visiva degli eventi registrati dal motore con timestamp.