Roma non è stata costruita in un solo turno: segnali di ricompensa basati sulla riproduzione per agenti Freeciv con orizzonte lungo

Abstract degli autori

Addestrare agenti basati su modelli linguistici a giocare a giochi di strategia con orizzonte lungo è difficile, perché i riscontri deterministici sono scarsi e spesso arrivano solo al termine della partita. I punteggi in partita possono offrire segnali densi, ma non predicono in modo affidabile gli esiti futuri: in una percentuale compresa tra l’8% e il 68% delle coppie di posizioni considerate negli otto giochi di strategia, la posizione con il punteggio più alto porta all’esito peggiore. Chiamiamo questo fenomeno «trappole del tabellone». In Freeciv, un gioco open source a turni in cui diversi giocatori gestiscono unità, città e diplomazia per centinaia di turni, esaminiamo segnali di ricompensa migliori per gli agenti di gioco. A questo scopo, realizziamo CivHarness, un sistema aperto che salva gli stati correnti della partita, crea diramazioni basate su decisioni diverse e riproduce la partita fino ai turni successivi, per fornire riscontri misurabili a lungo termine a partire dagli stati salvati. Usiamo CivHarness per addestrare CivTelescope, un giudice basato su LLM che prevede quale di due posizioni di gioco porterà all’esito migliore. Sulle coppie che costituiscono trappole del tabellone, CivTelescope è da 1,3 a 2,0 volte più accurato dei modelli linguistici disponibili sul mercato e generalizza a nuove configurazioni iniziali, turni successivi e regole mai viste. Addestriamo poi un agente di gioco per Freeciv usando CivTelescope come ricompensa densa e chiamiamo questo approccio CivMarshmallow. Quando viene usato nella fase intermedia della partita, in cui le trappole del tabellone sono comuni, CivMarshmallow raggiunge un guadagno medio nella fase di addestramento di 8,94 punti, il 77% in più rispetto al miglior baseline, la ricompensa a fine partita. Nell’intera partita di 120 turni, CivMarshmallow usa una ricompensa ibrida che parte dal punteggio sul tabellone o dalla ricompensa a fine partita e passa a CivTelescope man mano che la partita avanza; questa ricompensa ibrida ottiene il punteggio più alto tra quelle che confrontiamo.