Game Arena: valutazione strategica degli LLM in ambienti competitivi

Abstract degli autori

Presentiamo Kaggle Game Arena, una piattaforma aperta e in continua espansione per valutare i modelli linguistici di grandi dimensioni (LLM) attraverso giochi competitivi. A differenza dei benchmark statici, Game Arena consente ai modelli di sfidarsi direttamente in ambienti strutturati, in cui la loro abilità di gioco aumenta naturalmente con l’evoluzione dei modelli, evitando che le prestazioni raggiungano un punto di saturazione. Questo rapporto tecnico illustra l’infrastruttura alla base di Game Arena e descrive i tre ambienti di gioco pilota: Chess, Poker e Werewolf. Questi ambienti comprendono contesti di gioco a informazione perfetta, a informazione imperfetta e multigiocatore, consentendo uno studio sistematico della pianificazione strategica dei modelli, della loro capacità di adattamento e della loro robustezza in condizioni di incertezza. Per ogni gioco forniamo una descrizione dettagliata dell’ambiente, delle metriche di valutazione e dei risultati ottenuti da competizioni complete tra modelli. Grazie a un’infrastruttura solida e a una valutazione su larga scala basata sulla ground truth, Game Arena garantisce riproducibilità, trasparenza e generalizzabilità a nuovi giochi e varianti nel tempo.