CLASHarness: un benchmark dei conflitti tra agenti nell’uso del computer attraverso una pipeline di generazione controllabile e verificabile

Abstract degli autori

I modelli visivo-linguistici (VLM) sono sempre più impiegati nei sistemi multiagente per automatizzare flussi di lavoro complessi al computer, ma i benchmark esistenti presuppongono perlopiù ambienti coerenti e cooperativi. Nella pratica, invece, la collaborazione raramente si basa su informazioni coerenti: agenti di pari livello o subagenti segnalano spesso stati non aggiornati, impartiscono istruzioni contraddittorie o competono per l’accesso a permessi e file condivisi. Gli agenti devono quindi controllare gli output degli altri e verificare lo stato effettivo dell’ambiente. Valutare come risolvono questi conflitti resta difficile: la creazione manuale degli scenari non è scalabile nei sistemi complessi, mentre la generazione senza vincoli tramite LLM produce deviazioni narrative, rivelazioni delle risposte e criteri di valutazione impossibili da soddisfare. Presentiamo CLASHarness (Conflict-Loaded Agent Scenario Harness), un framework controllabile per generare conflitti multiagente verificabili nell’uso del computer, accompagnato da un benchmark di 600 compiti articolati in più turni. Combinando una pianificazione gerarchica degli scenari con una micro-pipeline verificata in otto passaggi, CLASHarness fissa in anticipo i fatti visivi decisivi prima della renderizzazione e compila valutatori ibridi, basati su codice e semantica, direttamente dalle traiettorie di riferimento eseguite: ogni compito è così risolvibile per costruzione. La valutazione di 15 modelli di frontiera con CLASHarness rivela tre ostacoli principali. Primo: quando gli output dei subagenti sono in conflitto con l’ambiente, i modelli meno capaci seguono ciecamente informazioni fuorvianti, mentre quelli più capaci esaminano le evidenze visive per verificare lo stato effettivo. Secondo: risolvere i conflitti è molto più difficile che individuarli. Gli agenti riescono a riconoscere le incoerenze, ma quando devono correggere attivamente lo stato del sistema il tasso di completamento dei compiti cala in modo significativo. Terzo: i protocolli di coordinamento restano un ostacolo per tutti. Anche i modelli di frontiera falliscono in oltre il 58% delle azioni di chiusura, spesso dimenticando di rilasciare i lock condivisi o di passare le consegne. CLASHarness offre una base scalabile e verificabile per costruire sistemi multiagente affidabili.