DecepEval: un benchmark per valutare l’inganno negli agenti basati su LLM

Abstract degli autori

Man mano che gli agenti basati su modelli linguistici di grandi dimensioni (LLM) diventano più autonomi, potrebbero ricorrere all’inganno per ottenere risultati nei compiti loro assegnati, sollevando dubbi sulla possibilità di impiegarli in modo affidabile. Le valutazioni esistenti mostrano che gli agenti basati su LLM possono ingannare, ma spesso esaminano scenari isolati o condizioni definite in modo ristretto, limitando la comprensione sistematica di quando l’inganno diventi più probabile. Per colmare questa lacuna, presentiamo DecepEval, un benchmark che comprende 1.532 casi suddivisi in 3 famiglie di compiti e 28 scenari professionali. Attingendo alle teorie classiche della frode, proponiamo il quadro LLM Deception Diamond, che individua quattro condizioni esterne in grado di indurre all’inganno: pressione, incentivo, opportunità e conflitto. DecepEval affianca una versione neutra e una versione indotta di ciascun caso per misurare come variano i tassi di inganno a seconda delle condizioni; i fatti espliciti relativi al compito e il comportamento osservabile degli agenti aiutano inoltre a distinguere l’inganno dagli errori dovuti a limiti di capacità. Le valutazioni di nove LLM di frontiera mostrano che i fattori che inducono all’inganno ne aumentano i tassi nei diversi modelli e nelle diverse famiglie di compiti, anche tra i modelli con bassi tassi di inganno in condizioni di base. DecepEval rende misurabili queste vulnerabilità, offrendo un benchmark condiviso per i progressi verso un’intelligenza artificiale affidabile.