WorldCast: esplorare la generazione visiva intelligente nella previsione dello stato del mondo

Abstract degli autori

Gli esseri umani interpretano osservazioni multimodali del mondo e prevedono come si evolverà. I recenti sistemi generativi multimodali hanno dimostrato capacità simili: possono integrare informazioni contestuali multimodali e produrre risultati visivi che raffigurano i cambiamenti del mondo. Per descrivere questa tendenza emergente, organizziamo le capacità dei modelli in una gerarchia a quattro livelli e rileviamo che i compiti di livello superiore restano relativamente poco esplorati, nonostante i progressi dei modelli. Per colmare questa lacuna, esaminiamo le prestazioni dei modelli nella previsione dello stato del mondo in più passaggi, un compito di livello superiore che richiede di prevedere stati futuri successivi del mondo a partire da osservazioni multimodali e riferimenti eterogenei. Questo compito richiede capacità di comprensione e generazione strettamente intrecciate, oltre a una vasta conoscenza del mondo per trasformare sequenze di azioni umane, trasformazioni fisiche e ragionamenti visivi astratti in risultati visivi coerenti. Presentiamo WorldCast, un benchmark composto da 320 casi progettati manualmente in otto categorie, e valutiamo 12 modelli rappresentativi. Gli esperimenti producono tre risultati principali: (a) i progressi dei modelli di frontiera stanno ampliando rapidamente i confini della modellazione intelligente del mondo: il GPT-Image-2.5 System ottiene un punteggio di 72,8 e dimostra capacità iniziali di previsione degli stati visivi in compiti del mondo reale; (b) WorldCast mette in luce notevoli divari tra i modelli: persino Nano Banana Pro raggiunge solo 42,8 e il miglior modello open source ottiene 20,1, con carenze nella gestione di contesti complessi, riferimenti intrecciati e compiti che richiedono un ragionamento approfondito; (c) i modelli generativi più capaci sfruttano efficacemente le capacità dei modelli linguistici su cui si basano. Questi risultati evidenziano la necessità di modelli generativi multimodali capaci di pianificazione e ragionamento dinamici e, al tempo stesso, profondamente unificati per simulare fedelmente gli stati del mondo reale.