L’ipotesi della rappresentazione lineare richiede un’azione di gruppo

Abstract degli autori

Per formulare affermazioni sulle rappresentazioni che generalizzino oltre un particolare modello addestrato, dobbiamo specificare quando due rappresentazioni vadano considerate equivalenti. Spesso si discute dell’ipotesi della rappresentazione lineare senza esplicitare questa equivalenza. Nozioni diverse di equivalenza preservano strutture diverse, perciò metriche, sonde e interventi che sembrano studiare la stessa rappresentazione possono in realtà corrispondere a ipotesi differenti. Sosteniamo quindi che l’ipotesi della rappresentazione lineare non sia una singola ipotesi, bensì una famiglia di affermazioni distinte in base all’equivalenza tra rappresentazioni. Formalizziamo questa idea ricorrendo alle azioni di gruppo e specificando l’oggetto rappresentazionale, la procedura che lo produce e la proprietà che viene infine asserita, tenendo conto delle equivalenze imposte dall’architettura del modello. Questo quadro chiarisce come le ipotesi possano cambiare a seconda delle metriche, dei punti di lettura e delle fasi dell’analisi; lo usiamo inoltre per esaminare criticamente le grandezze rappresentazionali più comuni e le analisi recenti di interpretabilità.