Zum Inhalt springen
AI.info

The Pulse

Vals AI testet Entscheidungsmodelle beim Betrieb eines Freizeitparks

Ein neuer Benchmark von Vals AI fordert Entscheidungsmodelle dazu auf, einen Park in RollerCoaster Tycoon 2 über drei Spieljahre zu verwalten. Decider V1.3 erzielte unter den neun getesteten Modellen die höchste Durchschnittspunktzahl, während drei Modelle in jeweils einem Durchlauf 1.000 Gäste erreichten.

Vals AI testet Entscheidungsmodelle beim Betrieb eines Freizeitparks

In einem neuen Benchmark von Vals AI übernahmen neun KI-Entscheidungsmodelle jeweils drei Spieljahre lang die Leitung eines virtuellen Themenparks. Drei von ihnen erreichten in jeweils einem Durchlauf 1.000 Besucher. Decider V1.3 erzielte mit 71 von 100 Punkten den höchsten Durchschnittswert, wie aus den Ergebnissen des Unternehmens hervorgeht.

Decider V1.2 und GPT-6 Luna Decisions waren die beiden anderen Modelle, die die Besucherschwelle erreichten. Jedes Modell absolvierte drei Durchläufe in dem Test namens RollerCoasterTycoonBench.

Den Park betreiben

Der Benchmark führt OpenRCT2 aus, eine Open-Source-Version von RollerCoaster Tycoon 2, und verwendet die Originaldaten des Spiels ohne Bildschirm. Jeder Durchlauf beginnt im Szenario Forest Frontiers: einer leeren Lichtung mit 10.000 US-Dollar Bargeld und einem Kredit über 10.000 US-Dollar, der auf 30.000 US-Dollar erhöht werden kann.

Ziel ist es, am Ende des Oktobers im dritten Jahr 1.000 Besucher und eine Parkbewertung von 600 auf der Skala des Spiels von 0 bis 999 zu erreichen. Ein Durchlauf dauert 96 wöchentliche Spielzüge.

Jede Woche kann ein Modell bis zu sechs Spielfenster öffnen und in jedem eine Änderung vornehmen, etwa eine Attraktion bauen, einen Mechaniker einstellen, einen Preis ändern oder Geld leihen. Der Test zeigt nur Optionen an, die zu diesem Zeitpunkt zulässig und bezahlbar sind; ihre Reihenfolge wird bei jedem Aufruf neu gemischt. Das Testsystem führt die Option aus, der das Modell die höchste Wahrscheinlichkeit zuweist.

Die Modelle erhalten eine Textbeschreibung der Informationen, die ein Spieler sehen könnte, einschließlich Bauobjekten und deren Preisen. Die Hälfte der Punktzahl eines Durchlaufs hängt davon ab, wie weit die Besucher- und Bewertungsziele erreicht wurden; die andere Hälfte richtet sich nach dem Unternehmenswert geteilt durch 100.000 US-Dollar. Der Unternehmenswert entspricht dem Parkwert plus Bargeld abzüglich des Kredits.

Kredite, Abwarten und Pannen

Laut Vals lieh sich Decider V1.3 in jedem Durchlauf innerhalb der ersten 19 Wochen dreimal 5.000 US-Dollar und gab das Geld sofort aus. Die Durchläufe endeten mit 965 bis 1.042 Besuchern.

Drex Max ließ laut den Ergebnissen 43 bis 49 der 96 Wochen verstreichen, ohne ein Fenster zu öffnen, darunter 28 bis 35 Wochen, in denen es sich einen Bau hätte leisten können. In seinem ersten Durchlauf überschritt Decider V1.2 in Woche 34 die Marke von 1.000 Besuchern. Danach ließ es 38 seiner letzten 48 Wochen verstreichen, während sein Bargeldbestand auf 15.826 US-Dollar stieg.

Ein anderes Modell, Decider Flash V1.2, änderte die Häufigkeit der Fahrgeschäftsinspektionen 439- bis 469-mal pro Durchlauf, stellte aber nie einen Mechaniker ein, wie Vals berichtete. Diese Parks beendeten den Durchlauf mit 79 bis 118 Besuchern. In 20 der insgesamt 27 Durchläufe wurde Geld geliehen; in keinem wurde es zurückgezahlt.

Den Test überprüfen

Vals ließ jedes Modell außerdem drei weitere Durchläufe absolvieren, bei denen die Baupreise nicht in den Zustandsinformationen aufgeführt waren. In dieser Variante erschien das Baufenster nur, wenn etwas bezahlbar war. Das Modell konnte daher nicht erkennen, dass ein Kredit für ein Fahrgeschäft reichen würde.

Das Unternehmen stellte fest, dass sieben der neun Modelle im Durchschnitt mehr Besucher hatten, wenn die Preise aufgeführt waren. Drex Max kam mit aufgeführten Preisen auf durchschnittlich 836 Besucher, ohne Preise auf 409. Bei drei Durchläufen pro Variante war der Unterschied bei keinem einzelnen Modell statistisch signifikant.

Die Forschenden spielten außerdem je 100 aufgezeichnete Entscheidungen von sechs Modellen erneut ab, um Änderungen am Testaufbau zu untersuchen. Das erneute Mischen der Optionen veränderte je nach Modell 0 bis 34 % der Auswahlentscheidungen, während das erneute Senden einer identischen Anfrage zu Änderungen von 0 bis 9 % führte, wie Vals mitteilte.

Die erste Version des Benchmarks schließt freies Zeichnen von Wegen, den Sessellift, individuell gestaltete Achterbahnschienen, große Dekorationselemente, Wasser, kosmetische Änderungen und die übrigen Szenarien des Spiels aus.

Quellen

  1. Originalquelle · Blogbeitrag Vals AI vals.ai

Verwandte Meldungen

Entdecken

Weitere Artikel