DialFork: oltre la correttezza fattuale, per valutare le allucinazioni procedurali negli agenti conversazionali

Abstract degli autori

Dai modelli linguistici di grandi dimensioni (LLM) impiegati come agenti conversazionali ci si aspetta sempre più spesso che seguano una logica procedurale. Mentre le allucinazioni fattuali hanno ricevuto molta attenzione, è stata trascurata una diversa modalità di errore: l’allucinazione procedurale, in cui un agente produce enunciati singolarmente scorrevoli e plausibili sul piano fattuale, ma si discosta dal processo conversazionale previsto. Presentiamo DialFork, il primo benchmark che misura questa modalità di errore sul testo grezzo dei dialoghi. DialFork è costruito creando diramazioni di dialoghi conformi in punti prestabiliti della conversazione e inserendo uno di quattro tipi di allucinazione: ne risultano 36.278 dialoghi relativi a 24 compiti in 12 ambiti; 30 annotatori umani ne convalidano la costruzione. Definiamo tre compiti di valutazione che caratterizzano la deviazione procedurale a tre livelli di granularità: quanto un insieme di dialoghi si discosti da quelli conformi (monitoraggio degli agenti impiegati), quanto se ne discosti un singolo dialogo (recupero procedurale) e in quale turno un dialogo esca per la prima volta dal percorso previsto (misure di salvaguardia in tempo reale). Per i primi due proponiamo FlowKL e FlowScore, metriche che tengono conto del flusso del dialogo e confrontano i dialoghi in base al loro svolgimento anziché al contenuto. A livello di singolo dialogo, FlowScore supera significativamente tutti i metodi di riferimento con sette encoder, mostrando che la somiglianza semantica non può sostituire quella procedurale. Rendiamo disponibile DialFork con licenze aperte all’indirizzo https://github.com/idiap/dialfork, auspicando che la comunità misuri il processo conversazionale oltre ai contenuti.