GroundGUI: localizzazione degli elementi delle interfacce grafiche con dati di alta qualità e distillazione verso l’apprendimento per rinforzo

Abstract degli autori

La costruzione di agenti robusti per le interfacce grafiche dipende dal grounding visivo multimodale: la capacità di associare con precisione le intenzioni espresse in linguaggio naturale a elementi utilizzabili sullo schermo. Nonostante l’abbondanza di benchmark per ambienti desktop, web e mobili, le risorse ad alta fedeltà adatte a contesti diversi sono sorprendentemente scarse. Per colmare questa lacuna, presentiamo Screen Referring Grounding Dataset (ScreenRef), un ampio dataset per il grounding delle interfacce grafiche composto da schermate abbinate a espressioni referenziali in linguaggio naturale e ad annotazioni con riquadri o punti. ScreenRef copre gli ambiti desktop, web e mobile e comprende 586K schermate e oltre 633K istanze di espressioni referenziali, relative a compiti quali il riconoscimento del testo, la corrispondenza visiva, la comprensione spaziale e gli scenari di rifiuto. Per migliorare le prestazioni del modello nel grounding, proponiamo il metodo Distillation-to-Reinforcement Learning (D2RL), che affronta la limitata capacità di generalizzazione del fine-tuning supervisionato e il problema delle ricompense sparse nell’apprendimento per rinforzo. Utilizzando ScreenRef, addestriamo Qwen3-VL-8B-Instruct in sequenza con SFT e D2RL, ottenendo GroundGUI-8B. GroundGUI-8B raggiunge il 95,2% su ScreenSpot-V2, il 63,9% su ScreenSpot-Pro, il 65,4% su OSWorld-G, l’86,8% su MMBench-GUI L2 e il 38,3% su UI-Vision. Tra i modelli di scala 8B, ottiene miglioramenti sostanziali rispetto ai modelli addestrati su dataset open source, con prestazioni paragonabili o persino superiori a quelle dei modelli addestrati su dati closed source. Codice, modelli e dataset sono disponibili all’indirizzo https://github.com/PrentisAI/GroundGUI.