Wizard: manipolare qualsiasi mondo in tempo reale tramite controllo agentico

Abstract degli autori

I recenti progressi nei modelli del mondo basati su video hanno reso possibile generare ambienti virtuali sempre più realistici e interattivi, aprendo nuove possibilità per un gameplay personalizzabile dai giocatori. I framework agentici spingono ulteriormente in questa direzione, separando la logica esplicita del gioco e le rappresentazioni controllabili del mondo dalla generazione visiva. Tuttavia, gli approcci esistenti supportano solo ambientazioni di gioco semplici e schemi di movimento predefiniti, generalizzano poco a ambienti e personaggi non incontrati in precedenza e offrono un’interattività limitata in tempo reale. In questo articolo presentiamo Wizard, un modello agentico del mondo di gioco che consente un controllo preciso dei movimenti dei personaggi in tempo reale, generalizzando zero-shot a scene, personaggi e azioni inediti. A tal fine, creiamo un dataset diversificato che comprende 750 scene e 178 personaggi e include informazioni scheletriche e geometriche sotto forma di rappresentazioni strutturate. Sfruttiamo queste rappresentazioni come proxy intermedi per condizionare un modello di generazione video, insieme a un meccanismo di mascheramento adattivo che migliora l’allineamento tra i segnali di condizionamento e le sequenze video generate. Inoltre, introduciamo un framework agentico che mantiene e aggiorna esplicitamente gli stati di gioco, consentendo ai giocatori di configurare liberamente i propri mondi virtuali e di controllare con precisione i movimenti dei personaggi, preservando al contempo la qualità visiva e la coerenza del gameplay. Combinando il controllo agentico con la generazione basata su proxy strutturati, il nostro framework apre nuove possibilità per la creazione di giochi guidata dai giocatori, con una simulazione del mondo in tempo reale, generalizzabile e coerente sul piano meccanico.