PointerBench: un benchmark diagnostico per il grounding delle GUI a grana fine

Abstract degli autori

I grandi modelli linguistici multimodali hanno mostrato risultati promettenti nei compiti di utilizzo del computer, dalla pianificazione dei flussi di lavoro degli utenti all’associazione di azioni espresse in linguaggio naturale a precisi elementi dell’interfaccia utente. I benchmark end-to-end esistenti si concentrano soprattutto sul completamento di compiti articolati in più passaggi, mentre i benchmark di grounding delle GUI restano incentrati sui controlli convenzionali e su un insieme limitato di interfacce professionali. Presentiamo POINTERBENCH, una suite diagnostica di 1.500 coppie schermata-istruzione che mette alla prova tre capacità complementari: l’identificazione di subelementi sottili e il grounding geometrico nei fogli di calcolo (POINTERBENCH-Sheets), il grounding a livello di carattere in documenti di testo lunghi (POINTERBENCH-Text) e il grounding misto delle GUI in 100 applicazioni professionali (POINTERBENCH-Pro). Prepariamo con cura ogni compito definendo la geometria del bersaglio con precisione al pixel e valutiamo sia modelli multimodali generalisti sia 39 configurazioni specialistiche per il grounding delle GUI. Il grounding del testo risulta essere la prova più difficile: Claude Fable 5, GPT-5.6 Sol e il principale modello specialistico nativo UI-Venus-2-9B raggiungono tassi di successo del 69,6%, 53,4% e 25,8% su POINTERBENCH-Text, a fronte di tassi medi di successo sull’intero POINTERBENCH rispettivamente dell’83,2%, 77,7% e 54,5%. Questi risultati mostrano ampi margini di miglioramento nel grounding delle GUI a grana fine, sia per i modelli di frontiera sia per quelli specialistici. Rendiamo pubblici il benchmark e il codice di valutazione all’indirizzo https://github.com/warmwindOS/pointerbench.