The Pulse
Vals AI mette alla prova modelli decisionali nella gestione di un parco a tema
Un nuovo benchmark di Vals AI chiede ai modelli decisionali di gestire un parco di RollerCoaster Tycoon 2 per tre anni di gioco. Decider V1.3 ha ottenuto il punteggio medio più alto tra i nove modelli testati, mentre tre modelli hanno raggiunto ciascuno i 1.000 ospiti in una partita.

Nove modelli decisionali di IA hanno gestito ciascuno un parco a tema virtuale per tre anni di gioco in un nuovo benchmark di Vals AI; tre di loro hanno raggiunto i 1.000 ospiti in una partita ciascuno. Decider V1.3 ha ottenuto il punteggio medio più alto, pari a 71 su 100, secondo i risultati dell’azienda.
Decider V1.2 e GPT-6 Luna Decisions sono stati gli altri modelli a raggiungere la soglia di ospiti. Nel test, chiamato RollerCoasterTycoonBench, ogni modello ha giocato tre partite.
Gestire il parco
Il benchmark esegue OpenRCT2, una versione open source di RollerCoaster Tycoon 2, usando i dati originali del gioco senza schermo. Ogni partita inizia nello scenario Forest Frontiers, una radura vuota con 10.000 dollari in contanti e un prestito di 10.000 dollari, che può arrivare a 30.000 dollari.
L’obiettivo è avere 1.000 ospiti e una valutazione del parco pari a 600, sulla scala da 0 a 999 del gioco, alla fine di ottobre del terzo anno. Una partita dura 96 turni settimanali.
Ogni settimana, un modello può aprire fino a sei finestre di gioco e apportare una modifica in ciascuna, per esempio costruire un’attrazione, assumere un meccanico, cambiare un prezzo o prendere denaro in prestito. Il test presenta solo opzioni che in quel momento sono legali e alla portata del budget, mescolandone l’ordine a ogni chiamata. Il sistema di test esegue l’opzione a cui il modello assegna la probabilità più alta.
I modelli ricevono una descrizione testuale delle informazioni che un giocatore potrebbe vedere, compresi gli elementi da costruire e i relativi prezzi. Metà del punteggio di ogni partita dipende dai progressi verso gli obiettivi relativi agli ospiti e alla valutazione; l’altra metà dipende dal valore dell’azienda diviso per 100.000 dollari. Il valore dell’azienda è dato dal valore del parco più la liquidità, meno il prestito.
Prestiti, attese e guasti
Vals ha dichiarato che Decider V1.3 ha preso in prestito 5.000 dollari tre volte nelle prime 19 settimane di ogni partita e ha speso subito il denaro. Le sue partite si sono concluse con un numero di ospiti compreso tra 965 e 1.042.
Secondo i risultati, Drex Max ha lasciato trascorrere da 43 a 49 delle 96 settimane senza aprire una finestra, comprese da 28 a 35 settimane in cui avrebbe potuto permettersi di costruire. Nella sua prima partita, Decider V1.2 ha superato i 1.000 ospiti alla settimana 34, poi ha lasciato trascorrere 38 delle ultime 48 settimane mentre la sua liquidità saliva a 15.826 dollari.
Un altro modello, Decider Flash V1.2, ha cambiato la frequenza delle ispezioni delle attrazioni da 439 a 469 volte per partita, ma non ha mai assunto un meccanico, secondo quanto riferito da Vals. Quei parchi si sono conclusi con un numero di ospiti compreso tra 79 e 118. In tutte le 27 partite, 20 hanno preso denaro in prestito e nessuna lo ha restituito.
Mettere alla prova il test
Vals ha anche eseguito altre tre partite per ciascun modello, senza includere i prezzi di costruzione nelle informazioni sullo stato. In questa variante, la finestra di costruzione appariva solo quando qualcosa era alla portata del budget, quindi il modello non poteva vedere che un prestito avrebbe permesso di pagare un’attrazione.
L’azienda ha rilevato che sette dei nove modelli hanno ottenuto in media più ospiti quando i prezzi erano indicati. Drex Max ha registrato una media di 836 ospiti con i prezzi e di 409 senza. Con tre partite per variante, la differenza per nessun singolo modello è risultata statisticamente significativa.
I ricercatori hanno anche rieseguito 100 decisioni registrate di ciascuno di sei modelli per esaminare le modifiche alla configurazione del test. Secondo Vals, rimescolare le opzioni ha cambiato dallo 0 al 34 per cento delle scelte, a seconda del modello, mentre inviare di nuovo una richiesta identica le ha cambiate dallo 0 al 9 per cento.
La prima versione del benchmark esclude il disegno libero dei percorsi, la seggiovia, i binari personalizzati per le montagne russe, le scenografie di grandi dimensioni, l’acqua, le modifiche estetiche e gli altri scenari del gioco.
Fonti
- Fonte originale · Post del blog Vals AI vals.ai
Notizie correlate
- Microsoft rende Decision-1.1 generalmente disponibile con supporto per le immagini
- I modelli di IA spesso individuano bersagli nei test sulle armi, afferma Vals AI
- Vals AI avvia un registro pubblico dei comportamenti disallineati dei modelli
- Uno studio rileva parolacce in una minoranza delle esecuzioni di benchmark dei modelli di IA
- Vals AI entra nel NIST AI Consortium ampliato