Zing-0.5: verso mondi giocabili con controllo congiunto delle azioni e del testo in tempo reale

Abstract degli autori

Presentiamo Zing-0.5, un modello del mondo autoregressivo da 5 miliardi di parametri progettato per essere giocabile: gli utenti possono esplorare i mondi generati, influenzare gli eventi mentre si svolgono e reagire al feedback che ne deriva, controllando il modello congiuntamente tramite tastiera e testo immesso durante l’interazione. Il nostro approccio riunisce tre contributi tecnici: (1) un condizionamento unificato basato su azioni e testo, che combina input da tastiera sensibili all’intensità, istruzioni testuali allineate temporalmente e video annotati congiuntamente per apprendere il controllo della navigazione e degli eventi nella stessa sequenza; (2) una supervisione sulla scala degli eventi per la generazione incrementale, che usa un modello teacher a livello di segmento, addestrato su video multi-prompt collegati, per supervisionare uno student causale a livello di blocco mediante distillazione basata sulla corrispondenza delle distribuzioni; e (3) un’interazione in tempo reale a basso costo, che combina la generazione in quattro passaggi con uno streaming che preserva il contesto, consentendo l’inferenza a 832 x 480 e 24 FPS a un costo stimato di noleggio del server di circa 0,009 dollari statunitensi per minuto di streaming. Zing-0.5 ottiene un punteggio complessivo di 81,0 e un punteggio di coerenza di 88,5 su 158 casi di WBench Navigation. Una dimostrazione del controllo congiunto mostra un cambiamento di evento guidato dal testo mentre la navigazione prosegue, senza riavviare la generazione. Rendiamo disponibili i pesi del modello, il codice per l’inferenza e l’implementazione di Zing-SGLang per l’erogazione del modello, per sostenere ulteriori ricerche sui mondi generati giocabili.