Costruire, non giocare: agenti di ricerca basati su LLM che si migliorano da soli sviluppano un’IA per Hearthstone Battlegrounds capace di rivaleggiare con i migliori giocatori

Abstract degli autori

Gli agenti basati su LLM possono affrontare un difficile problema del mondo reale, partendo dai dati grezzi per arrivare a un sistema capace di tenere testa alle persone? Studiamo questa possibilità in Hearthstone Battlegrounds, un gioco di combattimenti automatici per otto giocatori con negozi e battaglie aleatori, informazioni nascoste e quasi mille carte che interagiscono tra loro. Presentiamo AutoTavern, un sistema di ricerca che si migliora da solo: agenti di ricerca specializzati basati su LLM condividono una memoria di ricerca tipizzata, ogni affermazione passa attraverso fasi di verifica e le partite nel gioco reale chiudono il ciclo di feedback. Gli agenti migliorano così il simulatore, gli avversari e la strategia di gioco e, grazie allo stesso feedback, il proprio processo di ricerca; un essere umano stabilisce gli obiettivi e le regole per le meccaniche ambigue. In 20 giorni AutoTavern ha costruito TavernGym, la prima riproduzione fedele del gioco reale con tutti i suoi contenuti, e ha prodotto 23 versioni di TavernAgent, addestrato con PPO contro avversari calibrati su partite reali. TavernAgent gioca da solo partite complete nella classifica del gioco reale: il suo punteggio è salito da 6.000 a circa 15.000 e, secondo la metrica della classifica pubblica, nei suoi ultimi 20 risultati ha ottenuto un piazzamento medio di 1,60, con l’80% di primi posti. Sono risultati migliori, in ogni statistica, di quelli dei dieci giocatori con il punteggio più alto sul server (2,34, 59%). TavernBench, con 960 compiti in 40 scenari, mostra che il sistema costruito dagli agenti è il giocatore più forte: TavernAgent risolve il 91% dei compiti di gioco, contro al massimo il 63% degli LLM all’avanguardia, e decide in 0,03 s, mentre a questi ultimi servono fino a 26 s; entro il secondo concesso da un turno nel gioco reale, mantiene il 90% e nessun LLM supera il 26%. Gli agenti basati su LLM sono molto più bravi a costruire sistemi che a giocare. Renderemo open source TavernBench e TavernGym all’indirizzo https://github.com/MCG-NJU/AutoTavern.