The Pulse
Vals AI testa modelos de decisão na operação de um parque temático
Um novo benchmark da Vals AI pede a modelos de decisão que administrem um parque de RollerCoaster Tycoon 2 durante três anos do jogo. O Decider V1.3 teve a maior pontuação média entre os nove modelos testados, enquanto três modelos chegaram a 1.000 visitantes em uma execução cada.

Nove modelos de decisão de IA assumiram, cada um, o comando de um parque temático virtual por três anos do jogo em um novo benchmark da Vals AI; três deles chegaram a 1.000 visitantes em uma execução cada. O Decider V1.3 teve a maior pontuação média, de 71 em 100, segundo os resultados da empresa.
O Decider V1.2 e o GPT-6 Luna Decisions foram os outros modelos que atingiram o limite de visitantes. Cada modelo jogou três execuções no teste, chamado RollerCoasterTycoonBench.
Administrando o parque
O benchmark roda o OpenRCT2, uma versão open source de RollerCoaster Tycoon 2, com os dados originais do jogo e sem tela. Cada execução começa no cenário Forest Frontiers, uma clareira vazia com US$ 10.000 em caixa e um empréstimo de US$ 10.000, que pode chegar a US$ 30.000.
O objetivo é ter 1.000 visitantes e uma avaliação do parque de 600, na escala de 0 a 999 do jogo, ao fim de outubro do terceiro ano. Uma execução dura 96 turnos semanais.
A cada semana, um modelo pode abrir até seis janelas do jogo e fazer uma alteração em cada uma, como construir uma atração, contratar um mecânico, mudar um preço ou tomar dinheiro emprestado. O teste apresenta apenas opções que são legais e acessíveis naquele momento, em uma ordem embaralhada a cada chamada. O sistema de teste executa a opção à qual o modelo atribui a maior probabilidade.
Os modelos recebem uma descrição em texto das informações que um jogador poderia ver, incluindo itens de construção e seus preços. Metade da pontuação de cada execução depende do progresso em direção às metas de visitantes e avaliação; a outra metade depende do valor da empresa dividido por US$ 100.000. O valor da empresa é o valor do parque mais o caixa, menos o empréstimo.
Empréstimos, espera e falhas
A Vals disse que o Decider V1.3 tomou emprestados US$ 5.000 três vezes nas primeiras 19 semanas de cada execução e gastou o dinheiro imediatamente. Suas execuções terminaram com 965 a 1.042 visitantes.
O Drex Max deixou passar de 43 a 49 das 96 semanas sem abrir uma janela, incluindo de 28 a 35 semanas em que tinha condições de construir, segundo os resultados. Em sua primeira execução, o Decider V1.2 passou de 1.000 visitantes na semana 34 e, depois, deixou passar 38 das últimas 48 semanas enquanto seu caixa subia para US$ 15.826.
Outro modelo, o Decider Flash V1.2, alterou a frequência de inspeção das atrações de 439 a 469 vezes por execução, mas nunca contratou um mecânico, informou a Vals. Esses parques terminaram com 79 a 118 visitantes. Em 20 das 27 execuções, tomou-se dinheiro emprestado, e nenhuma delas o pagou de volta.
Testando o teste
A Vals também executou cada modelo mais três vezes, sem incluir os preços de construção nas informações de estado. Nessa variante, a janela de construção aparecia apenas quando havia algo acessível, de modo que o modelo não conseguia ver que um empréstimo permitiria pagar por uma atração.
Sete dos nove modelos tiveram uma média maior de visitantes com os preços listados, concluiu a empresa. O Drex Max teve uma média de 836 visitantes com os preços e 409 sem eles. Com três execuções por variante, a diferença de nenhum modelo individual foi estatisticamente significativa.
Os pesquisadores também reproduziram 100 decisões registradas de cada um de seis modelos para examinar mudanças na configuração do teste. Embaralhar as opções alterou de 0% a 34% das escolhas, dependendo do modelo, enquanto reenviar uma solicitação idêntica alterou de 0% a 9%, disse a Vals.
A primeira versão do benchmark não inclui desenho livre de caminhos, o teleférico, trilhos personalizados de montanha-russa, elementos de cenário grandes, água, alterações cosméticas nem os outros cenários do jogo.
Fontes
- Fonte original · Post de blog Vals AI vals.ai
Notícias relacionadas
- Vals AI lança rastreador público de comportamentos desalinhados de modelos
- Google diz que testes quânticos superam limites das estratégias clássicas
- OpenAI diz que seus modelos melhoraram em até 14% os projetos de GPUs da AMD
- Pesquisa da Adecco associa redesenho do trabalho com IA a maior economia de tempo relatada
- Aimbient diz que estudo liderado por Stanford não encontrou diferença significativa entre registros de horário do centro cirúrgico feitos por IA e manualmente