Il problema dell’etichettatura nei benchmark per il rilevamento delle allucinazioni: una valutazione empirica

Abstract degli autori

Negli ultimi anni sono stati sviluppati diversi metodi per rilevare quando i modelli linguistici di grandi dimensioni (LLM) producono allucinazioni. Questi metodi vengono spesso valutati con benchmark basati su dataset di domande e risposte (QA) a dominio aperto, contenenti domande e corrispondenti risposte di riferimento brevi. Per prima cosa, si usa un LLM per generare risposte alle domande del dataset QA. Poi si applica una strategia di etichettatura automatica che, confrontando le risposte generate con quelle di riferimento nel dataset, le classifica come allucinazioni o meno. Questa impostazione della valutazione crea un’ambiguità metodologica tra due criteri: la fedeltà alla risposta di riferimento (se questa supporta interamente la risposta generata) e la correttezza fattuale (se la risposta generata è priva di contraddizioni e di specifiche affermazioni fattualmente false). Nella pratica, i sistemi di etichettatura automatica possono applicare il primo criterio anche quando l’obiettivo è il secondo. Studiamo questa possibile discrepanza tra criteri usando 900 coppie domanda-risposta etichettate da esseri umani, tratte da tre dataset QA di uso comune e prodotte con tre modelli generatori; le etichette valutano la correttezza fattuale della risposta nel suo complesso. Come sistemi di etichettatura automatica valutiamo metriche di somiglianza lessicale, una baseline NLI basata sull’implicazione a partire dalla risposta di riferimento e sette LLM usati come giudici con varianti controllate dei prompt. I nostri esperimenti mostrano notevoli divergenze sia tra le strategie di etichettatura automatica sia tra le etichette così ottenute e quelle assegnate dagli esseri umani. Molte strategie mostrano inoltre marcate tendenze a commettere errori in una direzione e, per la maggior parte delle coppie giudice-generatore, sostituire un prompt orientato alla fedeltà con uno orientato alla correttezza fattuale aumenta la concordanza con le etichette umane e riduce la prevalenza dei falsi positivi. Questo indica che le etichette assegnate automaticamente alle allucinazioni dipendono fortemente da come viene specificato il criterio da valutare. La scelta della fonte delle etichette dovrebbe quindi essere considerata una componente fondamentale della progettazione dei benchmark, oltre che dichiarata esplicitamente, convalidata e allineata all’obiettivo del benchmark.