PreView: migliorare il grounding delle GUI con viste e indizi preprocessati

Abstract degli autori

Il grounding delle GUI richiede di localizzare piccoli controlli in screenshot affollati e di identificare a quale controllo si riferisce un’istruzione in linguaggio naturale. Ritagliare e ingrandire può far emergere i dettagli locali, ma l’immagine risultante può comunque lasciare dubbi sul target previsto. Proponiamo PreView, un preprocessore ausiliario che migliora gli input di un modello di grounding esistente senza addestrare ulteriormente quel modello. PreView prepara due tipi complementari di caratteristiche in input: viste pertinenti al compito per la localizzazione e indizi specifici per ciascun candidato, utili a comprenderne il target. Un modello ausiliario leggero e addestrato prevede e affina un punto centrale, ritaglia lo screenshot per ottenere una vista locale e la ingrandisce per il grounding ravvicinato. Prepara inoltre un indizio visivo (ossia un indicatore circolare rosso con un riferimento alla posizione) e un indizio testuale che descrive l’identità o la funzione del candidato. Il modello di grounding congelato usa gli input preparati per prevedere il clic finale. Su cinque benchmark, PreView migliora la precisione media di grounding di Qwen3-VL-2B, OS-Atlas-4B e Qwen3-VL-4B senza addestrare ulteriormente questi modelli di grounding. Analisi approfondite esaminano il contributo delle viste e degli indizi, il perfezionamento del punto centrale e i budget di input visivo.