OpenMobile-2: agenti mobili versatili grazie ad ambienti scalabili e strumenti nativi delle app

Abstract degli autori

Presentiamo OpenMobile-2, un agente per dispositivi mobili vicino ai modelli di punta, con ambienti e procedure di addestramento completamente aperti. I progressi principali sono tre: (1) Ambienti diversificati con app commerciali simulate: realizziamo MobileGym++, che comprende 35 app realistiche, ricche di funzionalità e simili a quelle commerciali, con flussi di lavoro tra app diverse, mantenendo il pieno controllo sulle operazioni di ripristino e verifica. Insieme alle app configurate ex novo negli emulatori Android, questo offre un ambiente diversificato che comprende oltre 110 app. (2) Dati di addestramento aperti su larga scala: su questa base, raccogliamo quasi 12K traiettorie di interazione con dispositivi mobili per il fine-tuning supervisionato e la più ampia raccolta aperta di dati di addestramento verificabili per l’apprendimento per rinforzo di agenti mobili, composta da oltre 2K attività eseguibili con ricompense automatiche. (3) Uso ibrido dell’interfaccia grafica e di strumenti nativi delle app: esploriamo una configurazione sperimentale in cui le app espongono alcune funzionalità come strumenti nativi accanto alle proprie interfacce grafiche, consentendo agli agenti di alternare azioni nell’interfaccia e chiamate agli strumenti nell’ambito di un’attività. Implementiamo questa configurazione in MobileGym++ con oltre 300 strumenti dal perimetro d’uso accuratamente definito, distribuiti su oltre 50 app. Presentiamo inoltre MobileGym++ Bench per scenari commerciali complessi e di lunga durata su dispositivi mobili, che consente di valutare, sulla stessa serie di attività, sia l’uso della sola interfaccia grafica sia quello ibrido dell’interfaccia e degli strumenti. OpenMobile-2 ottiene risultati competitivi su benchmark consolidati, tra cui AndroidWorld (79,9) e MobileWorld (50,4), e mostra una promettente capacità di trasferimento all’uso su dispositivi mobili reali, con prestazioni su SPA-Bench che quasi raddoppiano, passando da 31,9 a 59,6. Tutte le risorse sono disponibili all’indirizzo https://os-copilot.github.io/OpenMobile2-Home/.