Mycelium: un metastudio sul rilevamento delle allucinazioni in base a provenienza, tipologia e granularità

Abstract degli autori

Il rilevamento delle allucinazioni è sempre più importante per valutare e impiegare i modelli linguistici di grandi dimensioni. Tuttavia, i metodi esistenti vengono spesso confrontati su benchmark che definiscono e misurano le allucinazioni in modi sostanzialmente diversi, rendendo difficile interpretare i punteggi riportati in contesti differenti. Studiamo il rilevamento delle allucinazioni come un problema di misurazione condizionato dal benchmark e organizziamo i benchmark esistenti lungo tre assi: la provenienza, che descrive come vengono ottenuti gli output dei modelli e le condizioni relative alle evidenze; la tipologia, che comprende gli errori di correttezza fattuale e di fedeltà rappresentati dalle etichette dei benchmark; e la granularità, che specifica l’unità a cui le allucinazioni vengono annotate, previste e valutate. Usando questo quadro, analizziamo come le scelte relative alla costruzione dei benchmark, all’annotazione e alla valutazione definiscano il compito di predizione sottostante e mettiamo in relazione i meccanismi e le ipotesi dei rilevatori con i contesti in cui vengono misurate le loro prestazioni. Esaminiamo anche la valutazione a livello di segmenti di testo, in cui le differenze nei confini delle annotazioni possono incidere notevolmente sui risultati riportati, e proponiamo Span Coverage F1 come metrica complementare basata sull’inclusione. La nostra analisi chiarisce che cosa misurano i punteggi dei rilevatori, mette in luce i limiti dei confronti tra benchmark e indica la necessità di valutare più esplicitamente la generalizzazione in condizioni di benchmark diverse.