Matrix-Game 4.0: sfruttare i modelli video per creare mondi di gioco giocabili in tempo reale

Abstract degli autori

Passare da video controllabili a mondi realmente giocabili richiede uno stato del mondo persistente, regole di gioco eseguibili e interazioni a bassa latenza. Tracciamo una tabella di marcia per la prossima generazione di Matrix-Game che separa l’esecuzione del gioco dalla generazione visiva mediante un’infrastruttura di gioco eseguibile e presentiamo Matrix-Game 4.0 come il primo sistema costruito secondo questo progetto. Un motore di gioco leggero mantiene lo stato del mondo ed esegue le regole di interazione; un agente multimodale di programmazione traduce le idee del giocatore in codice di gioco e descrizioni dinamiche delle scene; un sistema di rendering basato su un modello video autoregressivo trasforma le rappresentazioni low-poly prodotte dal motore in immagini dettagliate, usando come condizioni le descrizioni dinamiche e i riferimenti alla memoria. Questa architettura fornisce indicazioni continue alla generazione visiva e consente di creare e modificare scene e modalità di gioco con il linguaggio naturale. Il nostro sistema di rendering viene addestrato su coppie allineate di video low-poly e ad alta fedeltà e sottoposto a distillazione per ottenere un generatore causale che produce blocchi di quattro fotogrammi con uno o due passaggi di rimozione del rumore. Insieme a ottimizzazioni mirate per l’inferenza, Matrix-Game 4.0 consente di giocare a 480p e 60 FPS su una singola NVIDIA RTX5090, con una latenza di 112 ms tra la pressione di un tasto e la visualizzazione. La generazione in un solo passaggio raggiunge un throughput a regime di 83 FPS, con un utilizzo massimo di 18,2 GiB di memoria GPU. Con prompt fissi, il throughput a regime raggiunge anche 67 FPS su una RTX5080 e 58 FPS su una RTX5070Ti. Mostriamo giochi sparatutto e di guida personalizzabili, con meccaniche applicate dal motore di gioco, e rendiamo disponibili codice, pesi del modello e risorse di gioco low-poly per sostenere la ricerca e la creazione di mondi di gioco giocabili.