GameVerse: un dataset di sequenze di gioco dell’ordine dei minuti per la modellazione di mondi interattivi su orizzonti temporali lunghi

Abstract degli autori

I recenti progressi nei modelli di mondi interattivi hanno reso possibile generare ambienti dinamici e controllabili a partire da azioni impartite al modello. I modelli attuali, però, faticano a mantenere la coerenza oltre circa un minuto di generazione: un limite dovuto non alla loro capacità, ma alla scarsità di dati di addestramento che coprano orizzonti temporali lunghi. I dataset esistenti di video di gioco sono in genere composti da clip di meno di dieci secondi, accompagnate da didascalie che descrivono l’intera clip in termini generici e senza distinzioni: dati insufficienti per una generazione controllabile su orizzonti temporali lunghi. Per affrontare questo problema presentiamo GameVerse, un dataset di video di gioco dell’ordine dei minuti, progettato appositamente per la modellazione di mondi interattivi su orizzonti temporali lunghi. GameVerse contiene 69,7K clip, per un totale di 1.655 ore e 349,6 milioni di frame, tratte da giochi diversi in prima e terza persona. Comprende 1.358 ore di sequenze continue di due minuti, di un ordine di grandezza più lunghe di quelle dei dataset precedenti. Le clip sono elaborate attraverso un’unica pipeline che comprende segmentazione coerente rispetto alla scena, filtraggio per qualità, stima della posa della telecamera e annotazione con didascalie basate sugli eventi. A ogni clip sono associate una traiettoria della telecamera stabile nel tempo, che rimane coerente nell’arco di più minuti, e didascalie che distinguono il contesto statico della scena dagli eventi dinamici in primo piano e si allineano ai confini degli eventi anziché a intervalli temporali fissi. Un’analisi approfondita mostra che GameVerse supera i dataset pubblici esistenti per dimensioni, diversità e qualità delle annotazioni. Gli esperimenti dimostrano inoltre che l’addestramento su GameVerse estende notevolmente l’orizzonte temporale dei modelli di mondi interattivi.