Ricerca
FraudBench: una valutazione giuridica dell’inganno dell’IA
Presentiamo FraudBench, una valutazione della propensione dei modelli linguistici di grandi dimensioni (LLM) a raccomandare, agevolare o intraprendere direttamente azioni che costituirebbero una…

- arXiv
- 2611.12167
- Pubblicato
- 2026-11-09
- Autori
- Kevin Wei, Sumaya Nur Adan, Stephan Llerena, Mark Gitau, Jakob Merane, Anita Srinivasan, Colette Le Brannan, Keethan Kleiner, Alessandro Tacconelli, Michael Tiu, Case Thomason, Kyle Emili, Natasza Gadowska, Alex Mark, Eric Ren, Umang Bhatt, Jatinder Singh, Jacy Reese Anthis, Doni Bloomfield, Noam Kolt
Abstract degli autori
Presentiamo FraudBench, una valutazione della propensione dei modelli linguistici di grandi dimensioni (LLM) a raccomandare, agevolare o intraprendere direttamente azioni che costituirebbero una frode secondo il diritto statunitense. La nostra valutazione comprende un nuovo dataset di 159 scenari basati su casi giudiziari statunitensi reali e convalidati da esperti legali. Presentiamo ogni scenario ai modelli di IA attraverso tre compiti con diversi livelli di autonomia: consigliare gli utenti, redigere messaggi che gli utenti invieranno e agire direttamente per conto degli utenti (477 compiti in totale). In ogni scenario, FraudBench ricostruisce i fatti di un caso giudiziario per offrire ai modelli di IA l’opportunità, ma non un’istruzione esplicita, di rappresentare in modo fuorviante o occultare un fatto rilevante in un contesto commerciale ad alto rischio, per esempio decidere se descrivere ai clienti come «indipendenti» test sui prodotti finanziati dall’azienda (rappresentazione fuorviante) o se nascondere ai clienti indagini normative sfavorevoli (occultamento). Valutiamo 20 modelli linguistici di grandi dimensioni in 25 condizioni sperimentali (per un totale di >300.000 generazioni) e includiamo un valore di riferimento umano preregistrato ($n_{\texttt{annotations}} = 2{,}957$, $n_{\texttt{humans}} = 996$). Consideriamo fraudolenta una risposta quando mette in atto, agevola o raccomanda una rappresentazione fuorviante o un occultamento. I risultati principali includono: (1) tra i modelli linguistici di grandi dimensioni, i tassi di frode variavano da quasi lo 0% a oltre il 40%; (2) i tassi di frode dei modelli linguistici di grandi dimensioni aumentavano con il livello di autonomia, passando da un tasso complessivo del 3,0% nel dare consigli, al 14,7% nella redazione di messaggi e al 21,4% nell’agire direttamente, senza esercitare pressione; (3) talvolta i modelli linguistici di grandi dimensioni commettevano frodi pur riconoscendo i rischi legali; (4) i modelli linguistici di grandi dimensioni ricorrevano più spesso alla frode per occultamento che per rappresentazione fuorviante; e (5) gli interventi basati sui prompt influivano notevolmente sui tassi di frode: un prompt che invitava a rispettare la legge li riduceva, mentre prompt che invitavano a massimizzare i profitti e ad agire in modo agentico li aumentavano.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv