The Pulse

Apple addestra agenti per le interfacce utente su app iOS reali

I ricercatori Apple riferiscono di aver addestrato un agente da 8 miliardi di parametri su app iOS reali, con un miglioramento di quasi sette volte rispetto alla baseline ottenuta con apprendimento supervisionato nei compiti su Android. I r

AI.info Team · Scritto con l’IA · verificato · 2026-11-02

I ricercatori Apple affermano di aver addestrato un agente da 8 miliardi di parametri facendolo operare su app iOS reali e valutandone le azioni mentre svolgeva i compiti assegnati. Lo studio, pubblicato su arXiv il 29 ottobre 2026, presenta un approccio di apprendimento per rinforzo online progettato per aiutare gli agenti a recuperare quando la schermata o il flusso di lavoro di un’app si discostano da una sequenza memorizzata. Tra i risultati figura un miglioramento di quasi sette volte rispetto alla baseline ottenuta dal gruppo con il fine-tuning supervisionato nei compiti su Android.

Due modelli si dividono il lavoro

Gli autori dello studio — Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio ed Emmanuel Abbe — scrivono:

«Per affrontare queste limitazioni, proponiamo un nuovo framework di apprendimento per rinforzo online che addestra gli agenti di navigazione delle interfacce utente direttamente su applicazioni iOS reali».

Il loro sistema separa la pianificazione — decidere cosa fare dopo — dal grounding, che associa un’istruzione, come toccare un controllo, a una posizione sullo schermo e a un’azione.

L’agente di pianificazione riceve il compito, uno screenshot e una cronologia dei passaggi precedenti. Un modello di grounding separato trasforma l’istruzione immediata dell’agente in un’azione, come un tocco, uno scorrimento o l’inserimento di testo. Gli autori usano l’apprendimento per rinforzo per la pianificazione, in cui l’agente deve adattarsi ai cambiamenti delle schermate e recuperare dagli errori, mentre addestrano il componente di grounding con esempi supervisionati.

Lo studio descrive l’addestramento su dispositivi costituiti da macchine virtuali iOS ospitate nel cloud. Il sistema può eseguire contemporaneamente 512 traiettorie indipendenti, ciascuna con un agente e un dispositivo; tra un compito e l’altro, ogni dispositivo può essere riportato a uno stato salvato dell’app. Prima dell’apprendimento per rinforzo, il modello di pianificazione viene sottoposto a fine-tuning supervisionato usando traiettorie annotate da esseri umani, tratte da app iOS di prima parte e di terze parti, insieme a esempi che coinvolgono più app dal dataset pubblico Android GUIOdyssey.

I giudici valutano i progressi lungo il percorso

Un modello linguistico di grandi dimensioni che funge da giudice fornisce due tipi di ricompensa: un feedback su ogni passaggio e un punteggio separato per il completamento del compito complessivo. Questo offre al processo di addestramento un modo per riconoscere le azioni intermedie utili anche quando un agente non porta a termine il compito, mantenendone il completamento come obiettivo finale.

I ricercatori presentano anche GiGPPO, un metodo che usa schermate visivamente simili, provenienti da altri tentativi simultanei di svolgere i compiti, per contribuire a stimare il valore di uno stato. La motivazione è che due esecuzioni possono raggiungere schermate simili senza riprodurre una sequenza identica di azioni. Lo studio descrive un sistema di ricompense asimmetrico che sconta i segnali relativi ai singoli passaggi ma lascia invariato il punteggio finale, con l’obiettivo di evitare che il feedback locale prevalga sull’obiettivo effettivo.

Secondo lo studio, il modello di grounding interno degli autori, da 3 miliardi di parametri, ottiene un punteggio superiore al 90% sul proprio set di test escluso dall’addestramento. Gestisce gli scorrimenti direzionali, ma non quelli legati a posizioni precise sullo schermo; nella configurazione di addestramento, i ricercatori indirizzano quindi queste istruzioni a Gemini-3.5-Flash. La configurazione descritta usa dunque un modello separato per gli scorrimenti basati sulla posizione, accanto all’agente di pianificazione.

Spiccano i progressi su Android; i risultati su iOS dipendono dal benchmark

Su AndroidWorld, il checkpoint PPO con il risultato migliore tra quelli riportati raggiunge un tasso di successo del 32,8% nei compiti, contro il 4,7% della baseline ottenuta con apprendimento supervisionato. La valutazione usa 116 compiti su 20 app Android, sebbene la fase di apprendimento per rinforzo avvenga su app iOS. Su UINavBench, il miglior risultato PPO è del 32,4%, pari al risultato riportato per Gemini-3.1-Pro.

I risultati su iOS provengono da due tipi diversi di benchmark. UINavBench usa app iOS reali, mentre iOSWorld usa app sintetiche. Su UINavBench, lo studio riporta che PPO al passaggio 336 raggiunge Gemini-3.1-Pro al 32,4% e che tre checkpoint RL ottengono un punteggio almeno pari al 28,4% di Gemini-3.5-Flash. Questi risultati sono coerenti con il confronto sulle app iOS reali riportato nell’abstract.

Su iOSWorld, il miglior risultato RL riportato è il 9,8% di GiGPPO, a fronte del 12,9% di Gemini-3.5-Flash e del 39,5% di Gemini-3.1-Pro. Lo studio afferma che le app sintetiche di iOSWorld sono visivamente diverse dalle app reali usate nell’addestramento e descrive i risultati su questo benchmark come progressi modesti rispetto alla baseline ottenuta con apprendimento supervisionato: il checkpoint migliore raggiunge più del doppio del 4,5% della baseline.

Nei tre benchmark, lo studio riporta miglioramenti rispetto alla baseline ottenuta con apprendimento supervisionato, tra cui un risultato sostanziale di trasferimento su Android. Le prestazioni variano a seconda del benchmark, del checkpoint di addestramento e della configurazione del grounding. La pagina dedicata alla ricerca di Apple presenta il lavoro come uno studio e rimanda alla sua pubblicazione su arXiv.