Degenerazione spettrale dell’autoattenzione in una geometria isotropa dei punteggi

Abstract degli autori

Studiamo la struttura spettrale della matrice di autoattenzione nei modelli Transformer mediante un modello spettrale idealizzato della matrice dei punteggi prima della softmax. Motivato dall’isotropia rotazionale delle rappresentazioni di query e key, il nostro modello sostituisce l’orientamento casuale nello spazio dei token della matrice dei punteggi con il suo rappresentante canonico dei valori singolari, caratterizzato da una separazione logaritmica tra picco e bulk. Le diagnosi empiriche su Transformer visivi e linguistici preaddestrati motivano questo modello: le matrici singolari nello spazio dei token hanno distribuzioni degli angoli degli autovalori quasi uniformi e gli spettri dei punteggi sono dominati da un piccolo numero di direzioni effettive. Dimostriamo quindi che la mappa softmax applicata riga per riga trasforma questa struttura in una matrice di attenzione degenere: i modi dominanti vengono preservati, mentre le distribuzioni spettrali del bulk si concentrano sullo zero. Il rango stabile rimane limitato nell’attenzione bidirezionale, ma cresce logaritmicamente in quella causale. Nel modello canonico, questi risultati spiegano come l’attenzione possa preservare un piccolo numero di direzioni dominanti comprimendo al contempo i restanti modi del bulk.