ActionRoPE: l’azione come coordinate per un controllo spazialmente coerente nei modelli di mondi di gioco con telecamera planare

Abstract degli autori

I modelli di mondi di gioco hanno compiuto rapidi progressi verso la generazione interattiva in tempo reale. Il controllo delle azioni, tuttavia, è ancora realizzato prevalentemente tramite condizionamento sulle feature, lasciando al modello il compito di apprendere dai dati di addestramento come ciascuna azione debba muovere il mondo visivo. Questa impostazione si adatta poco a un’ampia classe di mondi con telecamera planare, come i giochi con visuale dall’alto e quelli isometrici. In questi mondi, il movimento del giocatore determina uno spostamento planare della telecamera definito geometricamente. Osserviamo che, per ottenere un controllo spazialmente coerente in tali mondi, è essenziale rappresentare direttamente nelle coordinate del mondo l’effetto di ciascuna azione. A questo scopo, introduciamo ActionRoPE, un’interfaccia per le azioni priva di parametri che converte lo spostamento della telecamera prodotto dalle azioni in posizioni rotazionali espresse nelle coordinate del mondo. Di conseguenza, i token corrispondenti allo stesso luogo del mondo conservano nel tempo lo stesso indirizzo posizionale. Queste coordinate rivelano inoltre un’asimmetria spaziale nella generazione: le regioni comprese nell’osservazione iniziale sono note dal punto di vista geometrico, mentre quelle che si rivelano successivamente devono ancora essere sintetizzate. Proponiamo quindi Coordinate-Conditioned Noise Scheduling (CNS), che assegna a ciascun token un programma di denoising in base a questa distinzione tra regioni note e nuove. Ciò consente alle regioni osservate di stabilizzarsi prima, mentre i nuovi contenuti vengono generati prendendole come riferimento. Rispetto a quattro meccanismi rappresentativi di condizionamento sulle azioni, il nostro approccio segue più fedelmente il movimento impartito e riduce del 66% la deriva quando si torna in luoghi già visitati rispetto al metodo di riferimento più efficace. La stessa interfaccia si trasferisce a modelli di base video con un numero di parametri compreso tra 1,3 e 33 miliardi e a scene fuori distribuzione. Pagina del progetto: https://teawhite.cn/ActionRoPE/