Gli agenti di IA possono imparare a scalare la classifica? Una valutazione dell’apprendimento euristico in una competizione di lunga durata tra agenti di gioco

Abstract degli autori

I giochi competitivi hanno favorito progressi dalla ricerca euristica all’apprendimento per rinforzo, ma imparare strategie e adattarle a partire da un numero limitato di esempi resta difficile. Gli agenti di IA offrono un’alternativa: trasformare l’esperienza di gioco in revisioni di politiche eseguibili. Partendo dall’apprendimento euristico (HL), formalizziamo l’apprendimento euristico competitivo (AHL), un paradigma che usa gli agenti di IA come motori di apprendimento per perfezionare le politiche di gioco e il software che le supporta, mantenendo fissi i pesi del modello. Presentiamo AAArena, un benchmark che comprende 12 giochi competitivi autentici e 1.920 programmi umani archiviati, con un protocollo di valutazione modellato sulle competizioni di gioco reali. Gli agenti interpretano le regole, scelgono gli avversari, analizzano i replay e modificano gli agenti di gioco per raggiungere la posizione più alta possibile in classifica entro limiti prefissati per le partite e le valutazioni. Valutiamo \val{completedmodels} configurazioni di modello e ambiente di esecuzione: Opus5.5 con Claude Code conquista 6 medaglie d’oro, mentre nessuna delle configurazioni valutate raggiunge il primo posto nelle restanti 6 classifiche umane. Le prestazioni sono generalmente inferiori nei giochi con specifiche delle regole più complesse. Ulteriori esperimenti mostrano che la scelta degli avversari e un feedback denso favoriscono il miglioramento delle politiche e che gli agenti imparano sia dai replay on-policy delle proprie partite sia dai replay off-policy delle partite di altri giocatori. Questi risultati evidenziano il potenziale dell’HL nei giochi competitivi e individuano difficoltà persistenti nella comprensione dei giochi, nell’implementazione delle strategie e nello sviluppo di politiche su orizzonti temporali lunghi.