Ricerca
WebArena-Pro: un benchmark eterogeneo, multimodale e riproducibile per agenti web
Gli agenti web basati su grandi modelli linguistici e modelli visione-linguaggio sono sempre più impiegati in attività realistiche svolte nel browser, che coinvolgono applicazioni eterogenee…
- arXiv
- 2611.17955
- Pubblicato
- 2026-11-13
- Autori
- Imene Kerboua, Fatemeh Pesaran Zadeh, Xing Han Lù, Weijian Qi, Alexander Miller, Junyi Song, Yunjia Tian, Dongjin Kang, Seyeon Choi, Marzia Nouri, Ewen Gueguen, Matteo Boglioni, Fengyuan Liu, Zeyi Liao, Mengqi Yuan, Yue Li, Alexandre Lacoste, Alexandre Drouin, Spandana Gella, Huan Sun, Gunhee Kim, Siva Reddy
Abstract degli autori
Gli agenti web basati su grandi modelli linguistici e modelli visione-linguaggio sono sempre più impiegati in attività realistiche svolte nel browser, che coinvolgono applicazioni eterogenee, contenuti multimodali e flussi di lavoro con stato. Tuttavia, gli attuali benchmark riproducibili per agenti web coprono solo un numero ridotto di applicazioni web, riconducibili a poche categorie di software, e limitano le modalità a testo e visione. I benchmark live ampliano la copertura dei siti, ma sacrificano la riproducibilità, poiché pagine e dati cambiano tra un’esecuzione e l’altra. Inoltre, gli attuali benchmark non valutano in modo significativo se gli agenti siano in grado di comprendere e usare contenuti audio e video incorporati nelle attività web. Per colmare queste lacune, presentiamo WebArena-Pro, un benchmark composto da 300 attività distribuite su 20 applicazioni web self-hosted, in sei categorie di dominio, che comprendono convenzioni d’interfaccia, flussi di lavoro e modelli di dati distinti. Tra gli agenti valutati, le prestazioni migliori sono ottenute sia da Codex con GPT 6.1 Sol sia da Claude Code con Claude Opus 5.5, entrambi al 62,3%; segue OpenCode con Kimi 3.1 Pro al 60,7%. Le configurazioni più solide di GenericAgent, Gemini 3.1 Pro omni e Gemma4 31B, raggiungono entrambe il 30,3%. Tra i benchmark riproducibili per agenti web curati da esseri umani, WebArena-Pro offre a oggi la più ampia copertura di applicazioni e il supporto multimodale più completo. Il benchmark tratta audio e video come osservazioni fondamentali, insieme a testo e visione, e prevede azioni dedicate all’estrazione di informazioni da ciascuno di essi. WebArena-Pro esegue ogni attività in isolamento e consente una valutazione riproducibile e parallela. Le attività vengono create tramite un’interfaccia dedicata per gli annotatori, filtrate con un triage assistito da LLM e infine validate da esseri umani prima della pubblicazione. Pagina del progetto: https://webarena-pro.github.io
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv