Modello del mondo programmabile

Abstract degli autori

I recenti modelli del mondo basati su video generano esperienze visive sempre più realistiche e interattive, ma non dispongono di meccanismi affidabili per mantenere uno stato persistente del mondo e applicare regole programmabili nel corso di interazioni prolungate. Presentiamo Programmable World Model, un framework che separa l’evoluzione dello stato del mondo dalla generazione delle osservazioni visive. Un agente traduce le istruzioni in linguaggio naturale in programmi eseguibili che specificano gli stati delle entità e le regole di transizione tra stati, consentendo il controllo diretto delle singole entità e delle loro interazioni. Un motore leggero esegue questi programmi per aggiornare e mantenere uno stato globale del mondo, esplicito e persistente, che comprende anche le entità fuori campo e gli attributi non visivi. Per collegare lo stato del mondo alla generazione visiva, introduciamo come rappresentazione intermedia bounding box orientati in 3D (OBB), arricchiti con informazioni sullo stato. Questa rappresentazione, insieme alla traiettoria prevista per la telecamera, viene convertita in modo deterministico in segnali di condizionamento spaziotemporale allineati ai pixel per un modello video preaddestrato che funge da renderer generativo. Questa architettura permette agli utenti di creare giochi giocabili con meccaniche predefinite, controllo diretto delle singole entità e uno stato del mondo che persiste per tutta la durata del gioco. Introduciamo inoltre CombatStateBench, un benchmark per valutare i modelli del mondo programmabili. Su CombatStateBench, il nostro metodo raggiunge il 94% di Count Accuracy e il 98% di State Accuracy, superando nettamente i modelli del mondo video interattivi esistenti e supportando al tempo stesso una generazione coerente su lunghi orizzonti temporali. Questi risultati dimostrano l’efficacia di separare l’evoluzione esplicita dello stato dal rendering generativo per costruire mondi persistenti e programmabili.