IGG: un benchmark per il grounding interattivo nelle interfacce grafiche con vincoli di visibilità

Abstract degli autori

I benchmark di grounding nelle interfacce grafiche verificano se un agente è in grado di individuare un elemento bersaglio già visibile in uno screenshot statico. Le interfacce reali spesso non rispettano questa premessa: l’elemento può trovarsi fuori dallo schermo, comparire solo dopo un cambiamento di stato o al passaggio del puntatore, rimanere nascosto da altri elementi oppure diventare attivabile dopo un certo tempo. La capacità di rendere visibile l’elemento bersaglio resta quindi priva di valutazione. Per misurare questo passaggio, presentiamo Interactive GUI Grounding (IGG), un benchmark in cui un agente deve prima rendere visibile l’elemento bersaglio tramite un’interazione e poi cliccarlo. IGG comprende 601 compiti in 16 ambienti GUI controllabili e sette sottotipi di vincoli di visibilità, con uno spazio d’azione ridotto a scorrimento, movimento del puntatore, trascinamento, attesa e clic. Nel nostro studio con partecipanti umani, questi raggiungono un’accuratezza del 94,6%, mentre GPT-5.5 arriva al 79,4% e il VLM open source più efficace tra quelli valutati raggiunge solo il 31,6%. Per individuare l’origine di questa differenza, conduciamo due interventi controllati. Indicare a Qwen3-VL quale interazione eseguire ne aumenta l’accuratezza soltanto dal 30,8% al 33,9%, mentre eseguire l’interazione al posto del modello la porta all’81,9%. Il limite sta nell’eseguire l’interazione che rende visibile l’elemento bersaglio, non nel riconoscerlo una volta che è visibile. Mostriamo inoltre che questa capacità può essere appresa: il recupero della visibilità può essere migliorato in modo sistematico in diverse famiglie di modelli.