Completare il compito non basta: valutare gli agenti basati su modelli linguistici che usano strumenti tenendo conto degli effetti collaterali

Abstract degli autori

Gli agenti basati su modelli linguistici che usano strumenti vengono di solito valutati in base alla loro capacità di portare a termine il compito dell’utente. Questa metrica non rileva un problema frequente: un agente può completare il lavoro richiesto e, al tempo stesso, compiere un’azione non autorizzata con effetti collaterali, per esempio scrivere nell’oggetto sbagliato, ampliare la portata della richiesta o contattare un destinatario diverso da quello previsto. Chiamiamo questa modalità di errore danno collaterale (CD). Presentiamo SABench (Side-effect-Aware Benchmark), un benchmark di 201 attività relative a email, calendari e ticket. Ogni attività combina una delle quattro strutture di stato (indipendente, dipendente, raggiungibile dall’esterno, tra strumenti) con una delle quattro famiglie di insidie (ambiguità, scelta del bersaglio sbagliato, danno a cascata, superamento dei limiti) e dispone di un oracolo deterministico basato sulle tracce, che verifica sia il raggiungimento dell’obiettivo sia il rispetto delle autorizzazioni. Su 2.211 coppie modello-attività, ottenute con 11 LLM di frontiera appartenenti alle principali famiglie di modelli commerciali e aperti, il 15,2% di tutte le esecuzioni provoca danni collaterali. Il rischio si concentra nelle attività ambigue, con un tasso di violazione del 38,8%, mentre le insidie non ambigue registrano in media l’8,4% di danni collaterali. Tra le esecuzioni in cui l’obiettivo viene raggiunto, il 12,8% produce comunque operazioni di scrittura non autorizzate. Gli stati che coinvolgono più strumenti e quelli dipendenti presentano un tasso di danni collaterali circa doppio rispetto agli stati indipendenti. A parità di tassi di raggiungimento dell’obiettivo, i tassi di danni collaterali variano di 4,7 volte tra i modelli: ciò suggerisce che il solo completamento del compito sia un indicatore poco affidabile dell’uso sicuro degli strumenti. Il corpus di attività di SABench è disponibile all’indirizzo https://huggingface.co/datasets/Phaedrus/sabench; le tracce, l’oracolo, il codice e la pipeline di analisi sono disponibili all’indirizzo https://github.com/hjj194/sabench-artifact.