DeskForge: supervisione densa da ambienti desktop per agenti che usano il computer

Abstract degli autori

Gli agenti che usano il computer devono individuare in modo affidabile gli elementi su cui agire in schermate desktop complesse, dove più applicazioni, finestre sovrapposte e controlli visivamente simili competono per l’attenzione. I dati di addestramento esistenti raramente associano queste schermate ad annotazioni dettagliate o le variano in modo controllato. Presentiamo DeskForge, un ambiente desktop controllabile che combina ed esplora applicazioni reali per generare dati di supervisione su larga scala per gli agenti che usano il computer. Varia gli stati delle applicazioni, i contenuti, la disposizione delle finestre, l’aspetto e la risoluzione, e integra screenshot, alberi di accessibilità e geometria delle finestre in annotazioni dettagliate degli elementi, registrando l’esito di ogni azione eseguita. Con questo ambiente, costruiamo DeskForge-1M, un corpus di 1,2M osservazioni desktop annotate contenente 159,7M istanze di elementi. Sottoponiamo quattro modelli visivo-linguistici a fine-tuning su 200K esempi di individuazione degli elementi tratti da DeskForge-1M. Tutti e quattro migliorano su condizioni desktop escluse dall’addestramento e su tutti e cinque i benchmark esterni di individuazione degli elementi nelle interfacce grafiche; per Qwen3.5-4B, l’accuratezza aumenta di 11,51 punti percentuali su ScreenSpot-Pro e di 10,11 punti su OSWorld-G. I miglioramenti si traducono anche in una maggiore capacità di completare attività che richiedono lunghe sequenze di azioni: con un pianificatore fisso, i modelli per l’esecuzione delle azioni sottoposti a fine-tuning risolvono più attività di WebArena-Infinity e OpenApps. Qwen3.5-4B passa rispettivamente da 31 a 50 attività risolte su 119 e da 3 a 15 su 100. Questi risultati mostrano che la composizione controllabile di ambienti desktop reali offre una fonte scalabile di dati di supervisione per migliorare sia l’individuazione degli elementi nelle interfacce grafiche sia l’uso del computer in attività che richiedono lunghe sequenze di azioni. Il codice del framework, il dataset e il modello sottoposto a fine-tuning sono disponibili sulla pagina del progetto: https://saidgurbuz.github.io/deskforge/