PersonaCUABench: valutazione comparativa degli agenti per l’uso del computer al servizio di diverse personas

Abstract degli autori

Gli agenti che usano il computer (CUA) vengono comunemente valutati sulla base di specifiche fisse dei compiti, ma gli utenti possono omettere requisiti, aggiungere vincoli o richiedere un’approvazione prima di azioni con conseguenze rilevanti. Completare le istruzioni del benchmark non garantisce di soddisfare chi le ha impartite. Presentiamo PersonaCUABench, che mantiene fissi 74 compiti in 11 ambiti e varia soltanto chi li richiede. Un agente persona, che interpreta una delle 44 persone appartenenti a quattro gruppi, riscrive ogni istruzione con le parole usate da quella persona e risponde alle domande del CUA, che vede soltanto il dialogo, mai il profilo o l’istruzione originale. Con nove modelli di base (3.330 esecuzioni), il completamento medio dei compiti diminuisce del 36% rispetto alle richieste originali. Le perdite hanno due cause: nel 59,9% dei casi in cui si perdono punti, l’agente cerca di soddisfare quanto richiesto dall’utente ma sbaglia comunque; nell’11,2% dei casi, invece, si tratta di interruzioni richieste dall’utente che il valutatore considera fallimenti. Anche quando una richiesta persona viene completata interamente, l’utente assegna il punteggio massimo di soddisfazione soltanto nel 62,7% dei casi, contro l’84,1% per le richieste originali. I CUA dovrebbero quindi essere valutati non solo in base al completamento dei compiti, ma anche sulla capacità di rispettare requisiti e vincoli espressi dagli utenti. Codice: https://github.com/MatrAIx-ai/PersonaCUABench. Pagina del progetto: https://matraix.ai/research/persona-cua.html