Quando i grafici ingannano gli agenti web: un benchmark a coppie per attività basate su visualizzazioni fuorvianti

Abstract degli autori

Gli agenti web navigano, interpretano e agiscono sempre più spesso sui contenuti online per conto degli utenti. In molti flussi di lavoro realistici, però, le evidenze visive che utilizzano non sono neutrali: grafici e dashboard possono essere fuorvianti e condizionare le valutazioni senza impartire alcuna istruzione esplicitamente malevola. A differenza dei sistemi che rispondono a domande sui grafici, gli agenti web usano i grafici come evidenze intermedie: un’interpretazione errata può quindi tradursi in azioni concrete successive --- un rischio per l’affidabilità ancora poco studiato. Presentiamo MisVisAgentBench, il primo benchmark eseguibile basato su coppie per valutare come le visualizzazioni fuorvianti influenzino l’esecuzione degli agenti web. Comprende 280 istanze di attività organizzate in coppie abbinate, con una versione non fuorviante e una fuorviante che differiscono solo per le evidenze fornite dai grafici. Forniamo inoltre un quadro diagnostico che distingue gli insuccessi causati dalle visualizzazioni fuorvianti dalla difficoltà intrinseca delle attività (Zhu et al., 2025) e rileva effetti sull’esecuzione, come passaggi di navigazione aggiuntivi ed esitazioni nel prendere decisioni. Su tredici agenti web basati su modelli visivo-linguistici, sostituire i grafici non fuorvianti con le rispettive versioni fuorvianti riduce il tasso medio di successo nelle attività di oltre 34 punti percentuali. Inoltre, questi insuccessi seguono prevalentemente il ramo d’azione verso cui miravano a indirizzarli i grafici fuorvianti: ciò suggerisce che i grafici ingannevoli reindirizzino sistematicamente le decisioni degli agenti, anziché ostacolarle in modo casuale. Questi risultati mostrano che la robustezza rispetto alle visualizzazioni è una dimensione cruciale, ma ancora poco studiata, della sicurezza e dell’affidabilità degli agenti web.