Player-1: imparare a giocare dall’esperienza sintetica

Abstract degli autori

Gli agenti in grado di usare il computer hanno dimostrato notevoli capacità nell’interpretare ciò che appare sullo schermo e nell’eseguire azioni con tastiera e mouse. I giochi, però, con i loro mondi visivamente ricchi e le loro diverse meccaniche, restano una sfida e rappresentano un impegnativo passo successivo verso il controllo digitale generale. Gli attuali processi di apprendimento degli agenti di gioco si basano spesso su dimostrazioni su larga scala che coprono solo in misura limitata gli stati dinamici dei giochi, mentre resta difficile ottenere ambienti scalabili per l’addestramento interattivo. Presentiamo Player-1, un framework di post-addestramento per imparare a controllare i giochi oltre quanto consentito dalle dimostrazioni, attraverso l’esperienza sintetica. Ampliamo lo spazio delle azioni per l’uso del computer con il movimento relativo del puntatore, input prolungati e azioni composite. Per l’inizializzazione supervisionata, eseguiamo il fine-tuning di modelli per l’uso del computer su 6.044 traiettorie di gioco selezionate, che associano le azioni registrate alle istruzioni per i compiti e al ragionamento visivo. Realizziamo Player-1-Gym, sedici ambienti sintetici 2D e 3D progettati attorno a esigenze di controllo comuni a diversi giochi. Ricompense verificabili mediante programmi, insieme a osservazioni e dinamiche di controllo randomizzate, rendono possibile l’apprendimento per rinforzo in più ambienti con PPO. I modelli risultanti, Player-1-9B e Player-1-35B-A3B, migliorano il tasso di successo su MineDojo-300 rispetto alle rispettive politiche SFT di 27,8 e 17,7 punti percentuali. Player-1-9B raggiunge un tasso di successo del 38,33%, contro il 12,63% del miglior modello di riferimento valutato, e ottiene ulteriori miglioramenti rispetto a SFT su ViZDoom-10 e GameWorld. Ulteriori analisi mostrano che una copertura più ampia degli ambienti sintetici migliora il trasferimento, mentre durante l’apprendimento per rinforzo aumenta l’uso di azioni composite che combinano più input da tastiera e mouse. Dimostriamo che l’apprendimento dall’esperienza sintetica migliora sostanzialmente il controllo nei giochi rispetto all’inizializzazione supervisionata, con risultati che si estendono oltre gli ambienti usati per l’addestramento con apprendimento per rinforzo.