WebHarbor: integrare siti web reali in ambienti in evoluzione per agenti GUI

Abstract degli autori

Gli agenti web GUI richiedono ambienti realistici e interattivi, che rimangano stabili sia durante la valutazione sia durante l’addestramento. La valutazione su siti web live risente dei contenuti mutevoli, delle restrizioni di accesso e della copertura limitata dei flussi di lavoro autenticati, mentre gli ambienti sintetici esistenti per l’addestramento spesso non offrono sufficiente profondità funzionale e fedeltà visiva. Proponiamo WebHarbor, una suite di 153 ambienti web eseguibili e dockerizzati, che ricostruiscono fedelmente interfacce visive, contenuti e flussi di lavoro funzionali di servizi web reali, sotto controllo deterministico. Realizziamo WebHarbor attraverso una collaborazione tra esseri umani e agenti guidata dai task: gli ambienti evolvono man mano che nuovi task ne ampliano l’ambito funzionale, gli agenti di coding implementano le modifiche necessarie e i collaboratori umani verificano la fedeltà visiva, la correttezza funzionale e la validità dei task. La suite risultante comprende 3.518 task che coprono flussi di lavoro articolati in più passaggi e successivi all’autenticazione, spesso non inclusi nei lavori esistenti. Oltre a consentire valutazioni affidabili, WebHarbor offre ambienti web sintetici ad alta fedeltà per un apprendimento per rinforzo (RL) efficiente in termini di costi. Dimostriamo che un agente GUI di livello Qwen 4B, addestrato con RL in WebHarbor, generalizza a task non visti e ottiene risultati competitivi rispetto ai principali agenti web GUI open source su quattro benchmark. Il codice e i dati sono disponibili pubblicamente all’indirizzo https://github.com/aiming-lab/WebHarbor.