The Pulse
OpenMobile-2 riduce il divario con gli agenti per smartphone proprietari
OpenMobile-2 pubblica dati di addestramento, ambienti e modelli per agenti mobili e riferisce che, dopo l’addestramento, il punteggio del suo modello 27B su SPA-Bench è salito da 31,9 a 59,6. Lo studio riferisce inoltre che Gemini 3.1 Pro P
AI.info Team · Scritto con l’IA · verificato ·
Gli autori di OpenMobile-2 mettono a disposizione per l’esame un agente per smartphone e il relativo stack di addestramento, ma gli esempi che insegnano al sistema a usare le app provengono da Gemini 3.1 Pro Preview, il modello proprietario di Google. Qui sta la tensione nella rivendicazione di apertura del progetto: i ricercatori possono accedere ai modelli, ai dati e agli ambienti simulati risultanti, mentre una delle fonti principali dell’esperienza usata per addestrarli rimane chiusa.
Il preprint, presentato ad arXiv il 9 ottobre, riporta risultati solidi in diversi test per agenti mobili, tra cui un punteggio su SPA-Bench quasi raddoppiato per il modello da 27 miliardi di parametri su dispositivi Android reali. Eppure, nella tabella comparativa dello stesso studio, Gemini ottiene ancora un risultato più alto su SPA-Bench. OpenMobile-2 offre una nuova strada aperta per l’addestramento, non una prova che gli agenti aperti abbiano superato in generale i sistemi proprietari.
Più di 110 app, con flussi di lavoro ripetibili
Il team ha costruito MobileGym++ attorno a 35 app simulate sul modello di applicazioni commerciali, combinandole poi con app configurate in emulatori Android per creare un ambiente di sperimentazione che comprende più di 110 app. I client simulati conservano dettagli operativi come ordini e itinerari, supportano flussi di lavoro che attraversano più app e possono essere riportati a uno stato noto. Questo controllo consente ai ricercatori di ripetere le attività e verificare se un agente abbia effettivamente modificato i dati pertinenti nelle app.
OpenMobile-2 introduce anche strumenti nativi delle app, accanto ai consueti tocchi e scorrimenti sullo schermo. Più di 300 strumenti operano su oltre 50 app, dando all’agente la possibilità di chiamare una funzione, come un’azione dell’app, invece di raggiungerla attraverso i menu. MobileGym++ Bench, realizzato dai ricercatori, contiene 215 attività, ciascuna progettata per confrontare l’uso della sola interfaccia grafica con quello combinato di strumenti e interfaccia grafica.
Gli autori riferiscono di aver raccolto quasi 12.000 traiettorie dimostrative per il fine-tuning supervisionato e più di 2.000 attività eseguibili di apprendimento per rinforzo con ricompense automatiche. La pagina del progetto elenca ambienti, dati, modelli e procedure di addestramento tra le risorse pubblicate. La raccolta mira a rendere disponibile un ambiente di esercitazione ampio e vario anche a chi non fa parte di team in grado di raccogliere grandi quantità di dati sulle interazioni con app commerciali reali.
Progressi sui dispositivi reali, ma Gemini resta avanti
Dopo il fine-tuning supervisionato e l’apprendimento per rinforzo, il modello 27B ha ottenuto 59,6 nella valutazione di SPA-Bench su dispositivi reali, contro 31,9 del modello di base. Lo studio riporta un punteggio di 70,2 per Gemini 3.1 Pro Preview nello stesso benchmark: il notevole progresso del modello aperto, quindi, non elimina il divario restante. Su AndroidWorld, il modello 27B di OpenMobile-2 ha ottenuto 79,9 dopo l’apprendimento per rinforzo; il risultato dopo il fine-tuning supervisionato era 80,8, a ricordare che i miglioramenti variavano a seconda del test e della fase di addestramento.
Il team ha anche verificato se la varietà delle app facesse la differenza mantenendo fissa la quantità di dati di addestramento. Su 2.000 traiettorie raccolte negli emulatori, l’ampliamento della copertura dell’addestramento da 15 a 53 app ha portato la percentuale di successo su applicazioni mai viste dal 60,7 al 67,5, mentre le prestazioni sulle app già note sono rimaste sostanzialmente stabili. Il risultato avvalora la tesi degli autori a favore di ambienti di addestramento più ampi, pur derivando da un loro esperimento controllato e non da un’affermazione secondo cui una maggiore copertura delle app sarà sempre utile.
Lo stack aperto ha ancora un insegnante proprietario
Gemini 3.1 Pro Preview ha generato le istruzioni per gli utenti e ha agito da agente insegnante, svolgendo attività le cui esecuzioni riuscite sono diventate dimostrazioni. I ricercatori hanno filtrato le traiettorie per conservare le attività completate che avevano superato la verifica pertinente, poi hanno pubblicato i dati risultanti. Il processo rende accessibili i risultati e gran parte dell’infrastruttura, ma non rende la pipeline di addestramento indipendente da un modello proprietario.
La distinzione conta per chiunque cerchi di riprodurre il lavoro o di svilupparlo ulteriormente: l’accesso alle traiettorie e alle procedure può aiutare la ricerca, mentre i risultati riportati dagli autori sono stati ottenuti usando un modello insegnante proprietario. Lo studio rileva inoltre che i progressi dovuti all’apprendimento per rinforzo dipendono da quanto le attività di valutazione assomiglino a quelle dell’ambiente di addestramento. Nella conclusione si legge:
«Pubblichiamo come open source ambienti, dati, benchmark e modelli addestrati per sostenere ulteriori ricerche aperte sugli agenti mobili.»
Chenyang Yan e coautori, autori dello studio
Il risultato più chiaro di OpenMobile-2 nei benchmark rappresenta quindi sia un passo avanti sia un limite: il suo agente 27B raggiunge 59,6 su SPA-Bench, mentre il punteggio di Gemini riportato nello studio è 70,2.