Ripensare la valutazione degli SAE: un quadro basato su unità interpretabili atomiche rivela polisemia e ridondanza nascoste

Abstract degli autori

La motivazione iniziale degli autoencoder sparsi (SAE) era scoprire feature monosemantiche: una proprietà che caratterizza le singole feature, ma non definisce come dovrebbe essere strutturato l’insieme delle feature apprese. Con il crescente impiego degli SAE per l’attribuzione, l’individuazione dei circuiti e gli interventi, i ricercatori hanno iniziato a valutare metriche che descrivono proprietà globali di quell’insieme, come la sparsità, il tasso di feature inattive, la fedeltà della ricostruzione e il disentanglement: metriche eterogenee che vanno ben oltre la monosemanticità. Tuttavia, questo spostamento implicito oltre la monosemanticità non è stato formalizzato in un obiettivo chiaro e ben definito, che preceda tali metriche di valutazione. In assenza di un simile obiettivo, le metriche esistenti restano ad hoc e la loro necessità non è giustificata. In questo lavoro formalizziamo tale obiettivo ultimo introducendo un nuovo paradigma per la valutazione degli SAE: richiedere che le feature degli SAE e, più in generale, le scomposizioni delle rappresentazioni dei modelli basate su dizionari costituiscano una base di unità interpretabili atomiche, un sistema di coordinate per spiegazioni semanticamente significative. In questo paradigma organizziamo le misure esistenti e quelle nuove, come DAME (Dominance-Aware Monosemanticity Evaluation), come metriche approssimative e introduciamo un quadro completo di benchmarking. Valutando centinaia di SAE appartenenti a diverse architetture e famiglie di modelli, individuiamo modalità di fallimento in cui alcuni SAE appaiono monosemantici secondo le metriche di valutazione esistenti, pur restando funzionalmente polisemantici: le feature più dominanti, quelle che contribuiscono maggiormente al calcolo del modello, sono sistematicamente meno interpretabili e più ridondanti. Queste modalità di fallimento meritano l’attenzione dei ricercatori che studiano gli SAE come obiettivi per migliorare l’addestramento e le architetture, e rendono opportuna una valutazione che tenga conto della dominanza come controllo standard per chi utilizza le feature degli SAE, prima di impiegarle per l’attribuzione, il tracciamento dei circuiti o gli interventi.