U-Space: capire quando e perché emerge l’incertezza nei modelli linguistici

Abstract degli autori

I modelli linguistici di grandi dimensioni contribuiscono a decisioni la cui posta in gioco è sempre più alta. Man mano che crescono le conseguenze dei loro errori, diventa più difficile ignorare una domanda fondamentale: quanto possiamo fidarci di una singola risposta? Eppure, capire quando è il caso di rimettersi ad altri resta difficile, perché i modelli linguistici possono presentare conclusioni errate con spiegazioni fluenti e un tono autorevole. La quantificazione dell’incertezza cerca di colmare questa distanza stimando l’affidabilità delle singole previsioni. Tuttavia, molti metodi esistenti richiedono generazioni ripetute o componenti addestrati separatamente, e le loro stime scalari non mostrano dove nasca l’incertezza né come si evolva durante il ragionamento. Studi recenti hanno inoltre dimostrato che la lunghezza della generazione può essere fortemente associata alle stime dell’incertezza e alla correttezza, sollevando la questione di quanta parte della capacità predittiva di uno stimatore derivi da informazioni specifiche sull’incertezza anziché dalla sola lunghezza dell’output. L’interpretabilità meccanicistica offre un modo per affrontare questi limiti collegando concetti comprensibili alle persone agli stati intermedi del modello. Su questa base, introduciamo U-Space, un sottospazio a bassa dimensionalità che rende misurabile e interpretabile l’evoluzione dell’incertezza di un modello. Individuiamo ancore semantiche per il dubbio e la certezza, riportiamo le rispettive direzioni di unembedding nello spazio residuo e combiniamo i loro contrasti in una base ortogonale. U-Lens proietta lo stato di ciascun token sui vettori di questa base, producendo una mappa interpretabile dell’incertezza a livello di token, che può essere esaminata direttamente o aggregata in un punteggio scalare di incertezza. Il nostro approccio non richiede etichette di correttezza, generazioni ripetute né addestramento. Nei benchmark di ragionamento, il suo punteggio di confidenza supera quello dei metodi di riferimento consolidati sia nella valutazione standard sia in quella che controlla la lunghezza, ed è trasferibile in modo più affidabile rispetto agli stimatori supervisionati. Codice: https://github.com/s2labres/U-Space.