Cavalcare l’onda dell’attivazione: analisi dell’informazione e della geometria degli stati nascosti degli LLM per la decodifica speculativa

Abstract degli autori

Gli stati nascosti del decoder provenienti da livelli diversi dei modelli linguistici di grandi dimensioni (LLM) spesso codificano informazioni complementari. Tuttavia, i metodi di decodifica speculativa esistenti si basano in genere su un piccolo insieme di livelli del modello bersaglio, scelti mediante euristiche fisse basate sulla posizione. La scelta di un sottoinsieme ottimale di livelli è per sua natura un problema combinatorio, che rende impraticabile una valutazione esaustiva anche per modelli di profondità moderata. In questo lavoro presentiamo un metodo sistematico per selezionare gli stati nascosti di più livelli nella decodifica speculativa, basato su due criteri complementari: la quantità di informazione, misurata attraverso l’analisi dell’entropia matriciale, e la diversità, quantificata mediante l’allineamento centrato dei kernel (CKA). Esaminiamo l’entropia di Shannon di ciascun livello, l’entropia aggregata ottenuta concatenando gli stati nascosti e l’andamento della CKA tra coppie di livelli al variare della profondità, individuando compartimenti geometrici e informativi distinti nelle rappresentazioni del decoder. Sulla base di questi risultati, proponiamo algoritmi di selezione dei livelli fondati sull’entropia e sulla CKA, che privilegiano insiemi di stati nascosti ricchi di informazioni e con ridondanza minima. Nell’ambito di questo metodo introduciamo un filtraggio basato sull’entropia dei token, che rimuove gli stati nascosti associati a token con bassa entropia predittiva, migliorando così la qualità delle statistiche usate per selezionare i livelli. Nella decodifica speculativa in stile EAGLE3, gli insiemi da noi selezionati ottengono risultati migliori delle scelte di riferimento fisse, compresa la regola predefinita $[2, N//2, N-3]$, e permettono al tempo stesso di spiegare più chiaramente perché alcune scelte predefinite possano restare competitive. I nostri risultati offrono un metodo pratico per selezionare gli stati nascosti di più livelli nella decodifica speculativa, indicazioni sulla geometria e sull’informazione negli stati del decoder degli LLM e una base per estendere analisi analoghe ad applicazioni correlate.