Scoperta di caratteristiche interpretabili da dati non strutturati mediante LLM e modelli statistici di scelta

Abstract degli autori

L’estrazione di caratteristiche da dati non strutturati si basa in genere su embedding opachi, inadatti a decisioni interpretabili. Le caratteristiche interpretabili, d’altra parte, richiedono in genere un costoso lavoro di progettazione manuale, spesso impraticabile. I modelli linguistici di grandi dimensioni (LLM) offrono un ponte naturale, perché possono leggere dati grezzi e descriverli in termini interpretabili. Si potrebbe semplicemente chiedere a un LLM di estrarre caratteristiche da un ampio campione del dataset, ma i limiti di contesto e l’attenzione dispersa possono portare a risultati insoddisfacenti. Presentiamo un metodo che individua automaticamente caratteristiche interpretabili e rilevanti ai fini decisionali a partire da dati non strutturati. L’idea centrale è effettuare confronti a coppie tra gli elementi, chiedendo a un LLM di descrivere, in termini interpretabili, le caratteristiche che distinguono ciascuna coppia. Trattiamo queste spiegazioni, o motivazioni, come dati: sviluppiamo un modello statistico di scelta che combina tali motivazioni emerse dai confronti per individuare le caratteristiche rilevanti e stimare punteggi per ciascun elemento e ciascuna caratteristica. Per prima cosa testiamo il metodo su un dataset sintetico per la selezione del personale, composto da lettere di presentazione con caratteristiche reali note, e mostriamo che supera significativamente l’estrazione diretta di caratteristiche tramite LLM nel recupero delle caratteristiche. Lo applichiamo poi al dataset di dibattiti ChangeMyView (Reddit), in cui individua diverse caratteristiche interpretabili associate alla capacità di persuadere, raggiungendo un’accuratezza predittiva paragonabile a quella dei metodi di riferimento consolidati. Mostriamo inoltre come le stesse motivazioni possano essere usate per verificare le decisioni degli LLM, producendo un punteggio complessivo la cui scomposizione in base alle caratteristiche interpretabili rivela che cosa premia l’LLM.