Modelli del mondo con stato: eseguire le regole, generare i pixel

Abstract degli autori

I modelli del mondo esistenti possono generare video condizionati dalle azioni a partire da una singola immagine. Molti si concentrano sul movimento della telecamera, consentendo agli utenti di esplorare la scena generata. Tuttavia, la sola navigazione non garantisce che un’azione segua regole persistenti quando il suo esito dipende da uno stato invisibile nel fotogramma corrente. Presentiamo Stateful Harness, un framework che separa l’evoluzione del mondo dalla generazione del video per supportare interazioni che dipendono dallo stato e sono governate da regole. Mantiene uno stato del mondo che evolve secondo regole specificate, rappresenta ogni evento risultante con un modello video congelato e usa il filmato generato per aggiornare lo stato del mondo in vista del turno successivo. A ogni turno, il framework determina l’esito dell’azione scelta dall’utente e traduce l’evento risultante in un’istruzione, mentre un filmato di anteprima tratto da una scena 3D modificabile fornisce indicazioni spaziali e sulla telecamera. Per valutare il rispetto delle regole, realizziamo WorldState-Bench, un benchmark di 50 coppie di casi gemelli controfattuali che condividono il fotogramma iniziale e l’azione, ma differiscono per lo stato nascosto e l’esito richiesto. Con prompt che contengono soltanto le regole, il migliore degli 11 modelli video valutati produce il finale richiesto in entrambi i casi per il 32% delle coppie. Per MiniMax-H3, specificare i finali richiesti porta questa percentuale dal 32% al 64%, mentre il framework completo raggiunge il 92% con lo stesso modello congelato. Questi risultati sostengono la separazione tra esecuzione delle regole e generazione del video nelle interazioni con mondi caratterizzati da uno stato nascosto.