CHORD: rilevamento delle allucinazioni tra modelli tramite discriminazione relazionale su grafi

Abstract degli autori

Il rilevamento delle allucinazioni è fondamentale per impiegare i modelli linguistici di grandi dimensioni (LLM) in applicazioni del mondo reale. Grazie alle loro solide prestazioni empiriche, i metodi basati sulle rappresentazioni interne sono diventati l’approccio prevalente per rilevare le allucinazioni, ma restano in gran parte specifici per ciascun modello e spesso non riescono a generalizzare a LLM mai visti. In questo articolo studiamo un problema importante ma ancora poco esplorato, che definiamo rilevamento inter-modello delle allucinazioni (CMHD): l’obiettivo è addestrare rilevatori di allucinazioni su LLM sorgente, garantendo al contempo prestazioni su LLM bersaglio mai visti. La sfida centrale del CMHD risiede nell’eterogeneità delle rappresentazioni tra modelli: gli stati nascosti di LLM diversi mostrano una marcata inconsistenza semantica, che limita la trasferibilità dei rilevatori classici basati sulle rappresentazioni. Attraverso analisi e convalide empiriche, mostriamo che le strutture relazionali tra livelli, token e caratteristiche consentono di cogliere segnali di rilevamento trasferibili nonostante l’inconsistenza semantica. Sulla base di questa osservazione, proponiamo il rilevamento inter-modello delle allucinazioni tramite discriminazione relazionale orientata all’eterogeneità (CHORD), un framework di discriminazione relazionale su grafi che rappresenta gli stati nascosti come grafi relazionali congiunti tra livelli, token e caratteristiche. Il framework sottopone questi grafi a un meccanismo di attenzione consapevole delle relazioni per ottenere caratteristiche consapevoli della struttura, e utilizza il meta-apprendimento per orientarle verso segnali di rilevamento trasferibili. Esperimenti approfonditi mostrano che CHORD supera i metodi di rilevamento rappresentativi nella generalizzazione tra modelli. Il codice è disponibile all’indirizzo https://github.com/MiracleworkerD/CHORD.