Unire i contesti locali in un significato globale: una scomposizione delle rappresentazioni dei transformer basata sulla teoria dei fasci

Abstract degli autori

Gli strumenti di interpretabilità esistenti non verificano se una rappresentazione conservi lo stesso contenuto quando cambia soltanto la formulazione. Trattiamo ogni coppia di parafrasi come una testimonianza locale del fatto che due attivazioni dovrebbero concordare e costruiamo un fascio cellulare sul grafo delle parafrasi; il suo laplaciano $L_\mathcal{F}$ permette di rispondere alla domanda su un modello congelato, senza addestramento. Il nucleo $H^0$ è un sottospazio del contenuto: con 20 dimensioni supera il sottospazio preservato dall’eliminatore di concetti LEACE nel recupero di fatti CounterFact tenuti da parte, su otto architetture, con un vantaggio medio di $+17.1$\,pp; imporre vincoli congiunti a tutte le parafrasi di un fatto aggiunge altri $+6.5$\,pp. Il complemento spettrale concentra l’influenza causale: azzerare le coordinate che variano di più tra le parafrasi, un’approssimazione del complemento basata sulle singole coordinate, modifica gli output del modello da $5.6$ a $26.5\times$ più dell’azzeramento di coordinate con una variabilità per coordinata equivalente, su nove modelli da 124M a 13B parametri. Disporre i livelli in una griglia genera $b_1 = N(L-1)$ 1-cicli algebrici, e la massa armonica ricavata dal modello che ne risulta varia di quasi tre ordini di grandezza su sei architetture e le ordina come fa la loro fragilità allo steering (Spearman $ρ= 0.90$, test di permutazione esatto a una coda $p = 0.014$). Lo stesso grafo delle parafrasi fornisce il sottospazio del contenuto, le direzioni di influenza e la misura della fragilità. Pagina del progetto: https://cwru-aism.github.io/gluing-lc-page/