Imparare dal movimento: il prossimo passo per gli agenti GUI

Abstract degli autori

I benchmark esistenti per gli agenti GUI puntano soprattutto ad aumentare la difficoltà dei compiti estendendone l’orizzonte. Anche consentire agli agenti di esplorare ambienti sconosciuti e portare a termine i compiti al loro interno, però, è un problema cruciale e difficile. Presentiamo LatentGUIWorld, un benchmark composto da sei compiti suddivisi in tre coppie abbinate, organizzate in base alle informazioni necessarie per il controllo: $I_0$ si basa sulle conoscenze pregresse e sulle osservazioni disponibili, $I_1$ richiede interazioni che rivelino direttamente caratteristiche nascoste e $I_2$ identifica le dinamiche attraverso le relazioni tra azioni e risposte. I modelli di frontiera incontrano difficoltà soprattutto nei compiti $I_2$. Presentiamo MOVE, che separa il movimento dagli eventi legati ai pulsanti e rende disponibile un feedback visivo intermedio, insieme a dimostrazioni di esplorazione e controllo iterativi. Gli studi di ablazione mostrano che sia la granularità delle azioni sia le dimostrazioni articolate in più passaggi migliorano le prestazioni. Dopo SFT, LatentLearner-9B raggiunge un tasso di successo complessivo del 50,0% su LatentGUIWorld, paragonabile a quello di diversi modelli di frontiera. L’RL congiunto porta poi i tassi di successo nei compiti Drag egocentrico e Ten-Choice rispettivamente al 92,0% e al 75,3%. L’analisi del comportamento rivela un’esplorazione articolata in più passaggi. Nel compito Drag egocentrico, l’RL aumenta la correlazione di Pearson tra i comandi normalizzati rispetto all’errore e la compensazione ideale del guadagno da 0,610 a 0,803. Nel complesso, questi comportamenti mostrano che i modelli imparano a esplorare attraverso l’interazione e ad adattare il proprio controllo alle dinamiche dell’ambiente. Lo stesso formato migliora il grounding nelle GUI dopo l’RL, raggiungendo un’accuratezza media del 67,37% su cinque benchmark, contro il 66,72% dell’RL convenzionale.