MAI-Gym: una piattaforma aperta e completa per valutare agenti GUI e addestrarli con l’apprendimento per rinforzo in ambienti mobili e per computer

Abstract degli autori

L’apprendimento per rinforzo (RL) online con ricompense verificabili ha portato a rapidi progressi nella matematica, nella programmazione e nell’uso di strumenti, ma estendere questi risultati agli agenti GUI resta difficile per l’elevato costo degli ambienti interattivi e la scarsità di compiti di addestramento realistici. Presentiamo MAI-Gym, una piattaforma aperta e completa che riunisce la valutazione degli agenti GUI, la raccolta dei dati e l’addestramento RL online in ambienti mobili, per computer e web. Grazie a un processo condiviso di esecuzione, MAI-Gym garantisce un comportamento coerente degli agenti nella valutazione e nell’addestramento, supporta dieci benchmark consolidati e può gestire 20.000 istanze di ambiente in parallelo. Oltre a offrire un’infrastruttura scalabile, MAI-Gym permette di generare automaticamente applicazioni GUI diverse e compiti impegnativi, tra cui app simulate ripristinabili e mondi coerenti che coinvolgono più app, con verificatori dei compiti validati mediante esecuzione. Usando MAI-Gym, addestriamo MAI-Gym-9B, un agente unificato da 9 miliardi di parametri per dispositivi mobili e computer, che ottiene prestazioni allo stato dell’arte tra gli agenti GUI aperti con meno di 10 miliardi di parametri: 78,4% su MobileWorld e 76,2% su OSWorld-Verified. Un risultato importante è che l’addestramento RL in un’app simulata di biglietteria ferroviaria si trasferisce alla sua controparte reale, portando il tasso di successo nei compiti su un telefono fisico dal 28,8% al 48,1%. Rendiamo disponibili il framework, le capacità di sintesi, le app simulate, 2.000 compiti verificati e il checkpoint del modello per sostenere la ricerca riproducibile e ulteriori progressi nell’addestramento scalabile degli agenti GUI.