Quando le citazioni traggono in inganno? Un benchmark a livello di singola affermazione per rilevare le allucinazioni in ambito giuridico

Abstract degli autori

I modelli linguistici di grandi dimensioni sono sempre più usati nella ricerca giuridica e nella redazione di testi legali, ma possono ancora produrre affermazioni che suonano convincenti senza essere suffragate dalla fonte citata. Presentiamo PARCEL, un benchmark per verificare se un’affermazione giuridica trova riscontro nella fonte su cui si fonda. Utilizzando recenti sentenze della Corte d’appello dello Stato di New York, abbiamo creato un dataset di 3.396 affermazioni formulate come incisi tra parentesi, classificate come supportate, confutate o non rinvenute. Trattiamo questo compito come un problema di inferenza in linguaggio naturale a tre classi e valutiamo diversi modelli linguistici di grandi dimensioni all’avanguardia in modalità zero-shot. Sebbene i modelli migliori raggiungano un’accuratezza fino a 0,97, i risultati mostrano anche un limite importante: i modelli continuano a classificare erroneamente come supportate affermazioni prive di riscontro, anche quando viene fornito il testo integrale della sentenza. Per tutti i modelli, l’assenza di riscontri è più difficile da rilevare di una contraddizione diretta, e le citazioni inventate ma plausibili provocano il calo di prestazioni più marcato. Nel complesso, PARCEL offre un benchmark pratico per verificare, a livello di singola affermazione, l’ancoraggio alle fonti nei sistemi RAG giuridici.