Apprendimento per rinforzo online e denso con un agente di pianificazione e grounding per la navigazione nelle app IOS in uso

Abstract degli autori

Sebbene i modelli vision-language di frontiera dimostrino ottime capacità nella navigazione delle interfacce utente (UI), i loro elevati costi di inferenza ne impediscono l’uso quotidiano. Al contrario, i modelli più piccoli, addestrati tramite fine-tuning supervisionato (SFT) o apprendimento per rinforzo offline, spesso memorizzano traiettorie statiche, con conseguente esecuzione fragile e incapacità di recuperare dagli errori. Per affrontare questi limiti, proponiamo un nuovo framework di apprendimento per rinforzo online che addestra gli agenti di navigazione UI direttamente su applicazioni iOS reali. Il nostro framework suddivide l’agente in due componenti specializzati: un agente di pianificazione e un modello di grounding della UI. Ci affidiamo a un LLM come giudice per fornire segnali di ricompensa esaustivi, combinando un feedback denso a livello di singolo passo, che valuta i progressi intermedi, con una ricompensa terminale per il completamento complessivo del compito. Per sfruttare efficacemente questa struttura a doppia ricompensa, ottimizziamo l’agente usando la Proximal Policy Optimization (PPO) con una stima dell’advantage a livello di singolo passo. Inoltre, introduciamo GiGPPO, un nuovo metodo di stima del valore condizionato ai vicini che migliora la stabilità del critico sfruttando i segnali di ricompensa provenienti da stati visivamente simili in traiettorie concorrenti. Per supportare su larga scala questo paradigma di addestramento online, introduciamo un’infrastruttura efficiente che coordina centinaia di dispositivi iOS virtuali in parallelo. Le valutazioni su benchmark rigorosi, tra cui UINavBench, iOSWorld e AndroidWorld, dimostrano che i nostri agenti addestrati con RL online superano nettamente sia le baseline SFT sia quelle con RL basato solo sulla ricompensa terminale, accelerando al contempo la convergenza dell’addestramento. In particolare, i nostri agenti RL da 8B ottengono un miglioramento di quasi sette volte rispetto alla baseline SFT nella generalizzazione fuori distribuzione agli ambienti Android, superando Gemini-3.5-Flash e pareggiando Gemini-3.1-Pro nelle applicazioni iOS reali.