Sistemi di riferimento lessicali: interpretare i flussi residui dei modelli linguistici nella loro semantica nativa

Abstract degli autori

Il vocabolario di un modello linguistico costituisce la sua semantica nativa: l’embedding e l’unembedding fissano il significato di uno stato alle due estremità del flusso residuo. Nel tratto intermedio, i metodi esistenti riutilizzano una lente fissa oppure trattano gli stati come una nuvola di punti, ma nessuno dei due legge uno stato come fa il modello. Sosteniamo che ogni stato nascosto abbia un sistema di riferimento nativo, determinato dai layer che lo leggono successivamente e adattivo al contesto. I sistemi di riferimento lessicali lo approssimano facendo passare uno stato attraverso i layer rimanenti del modello stesso, con un numero specificato di cicli di attenzione tra posizioni e un output tipico dell’attenzione per il resto, senza adattarsi all’output del modello. Nessuna lente, con direzioni fisse per layer, può superare la radice quadrata della coerenza del sistema di riferimento nativo: 0,30 e 0,35 a metà profondità rispettivamente di SmolLM3-3B e OLMo3-7B. Il sistema di riferimento del primo ordine, LexFrame[1], raggiunge invece 0,97 e 0,97 e legge uno stato con uno scarto di 0,16 nats dall’output del modello. I suoi coefficienti attribuiscono le predizioni più fedelmente dell’attribution patching, la sua base lessicale orienta una predizione senza influire sugli altri token e le sue letture ad alta confidenza permetterebbero a un’uscita anticipata di saltare una quota di layer pari a 0,45 e 0,42, mentre le lenti non ne saltano quasi nessuno. In questo modo, i sistemi di riferimento lessicali rendono ogni stato nascosto del modello leggibile, attribuibile e orientabile.