AnyGameRenderer: rendering generativo coerente delle entità in diversi giochi e benchmark a livello di entità

Abstract degli autori

Gli agenti di IA che scrivono codice possono ormai creare piccoli giochi giocabili in pochi minuti, ma il risultato di solito ha l’aspetto della grafica provvisoria realizzata da un programmatore: bozze grigie a blocchi, primitive geometriche colorate e forme semantiche piatte. Presentiamo AnyGameRenderer, un sistema di rendering generativo da video a video che trasforma questi filmati in immagini di alta qualità, con personaggi, dettagli del movimento ed effetti. Nel farlo, mantiene intatti la disposizione degli elementi, la telecamera, la posizione e la tempistica di ogni entità. AnyGameRenderer si adatta a un’ampia gamma di generi creati dagli agenti, tra cui tower defense, auto-battler, giochi di sopravvivenza con visuale dall’alto, battaglie a turni, corse di kart e giochi di corsa con folle. AnyGameRenderer usa come input per lo stato del gioco un semplice video, senza rappresentazioni complesse come i G-buffer del motore grafico, etichette di classe per ogni oggetto o modelli proxy a basso numero di poligoni. Può ricevere in input bozze grigie a blocchi, primitive colorate, mappe semantiche e wireframe. Preserva inoltre la corrispondenza tra le entità: il numero di elementi nei gruppi rimane corretto e le entità compaiono e scompaiono nel fotogramma giusto. Realizziamo AnyGameRenderer mediante il fine-tuning con LoRA di MiniMax-H3 ref2va, un modello di generazione video da 33B condizionato da un video di riferimento. L’addestramento utilizza $\sim$10k coppie di clip provenienti da tre fonti: (i) dati di rendering multistream di 38 giochi creati da agenti ed esportati da GEAR, uno strumento di IA per la creazione di giochi; (ii) dati di rendering a due flussi da Unreal Engine, con folle, variazioni del numero di entità e dimensioni delle entità controllate programmaticamente; e (iii) registrazioni di partite reali, con coppie ricostruite mediante il rilevamento di riquadri 3D. Per valutare la corrispondenza tra le entità, proponiamo un benchmark a livello di entità composto da 59 casi esclusi dall’addestramento, con 753 entità, valutati rispetto ai riquadri di riferimento. Rispetto al modello di base, AnyGameRenderer preserva meglio la corrispondenza tra le entità: la corrispondenza temporale sale dal 50,9\% al 62,9\%, le variazioni del numero di entità non rilevate scendono dal 34,7\% al 21,3\% e diminuiscono le entità inventate o non rappresentate.