EvoWorld: verso l’evoluzione del mondo oltre il campo visivo nei modelli di video generativi

Abstract degli autori

I modelli di video generativi sono sempre più utilizzati come simulatori visivi di mondi, ma il loro punto di forza principale consiste nel generare pixel plausibili, più che nel ragionare su come dovrebbe evolversi un mondo. Un’evoluzione coerente del mondo richiede più della fedeltà visiva: quando si verifica un evento, un modello deve dedurne le conseguenze per le entità presenti nel mondo e poi renderizzare lo stato risultante. Per esempio, dopo la comparsa di una bestia selvatica, il modello non dovrebbe limitarsi a raffigurarla, ma anche dedurre, sulla base della scena effettivamente generata, se una persona nelle vicinanze dovrebbe fuggire, mettersi al riparo o reagire. Gli attuali modelli video basati sulla diffusione non dispongono di un meccanismo esplicito per mantenere lo stato del mondo e ragionare sulle conseguenze condizionate dagli eventi; spesso producono risultati visivamente plausibili, ma statici sul piano comportamentale o incoerenti sul piano causale. Per rendere concreto e misurabile questo divario nel ragionamento, proponiamo un nuovo problema, Out-of-Sight Causal Evolution, che richiede a un modello di renderizzare un evento, ragionare sulle sue conseguenze per lo stato in evoluzione del mondo e mostrare un esito causalmente plausibile mentre il mondo continua a evolversi, anche fuori dal campo visivo. Come soluzione di riferimento di base, introduciamo EvoWorld, un framework di collaborazione tra cervello e renderizzatore in cui un modello visione-linguaggio funge da cervello del mondo: osserva i segmenti generati, mantiene un resoconto aggiornato del mondo e ragiona su transizioni di stato plausibili, mentre un renderizzatore video autoregressivo per segmenti le realizza visivamente. Introduciamo inoltre EvoWorld-Data ed EvoWorld-Bench per addestrare e valutare la resa degli eventi, le reazioni causali e la coerenza nelle successive rivisitazioni. Gli esperimenti mostrano che EvoWorld migliora sostanzialmente l’evoluzione causale condizionata dagli eventi rispetto ai modelli recenti, preservando la qualità visiva e la coerenza; stabilisce così un punto di riferimento per l’evoluzione autonoma del mondo, guidata dal ragionamento, oltre l’attuale campo visivo.