SAE interpreta MoE: gli autoencoder sparsi rivelano che gli esperti dei MoE presentano una specializzazione a grana fine interpretabile dagli esseri umani

Abstract degli autori

I modelli Mixture-of-Experts (MoE) instradano ogni token verso pochi esperti tra i molti disponibili, ma non è ancora chiaro di cosa sia responsabile ciascun singolo esperto. Le analisi esistenti contano quante volte un esperto viene selezionato in corpora etichettati per dominio: un metodo che fissa in anticipo la tassonomia, resta grossolano e registra la selezione anziché il contributo. Noi studiamo invece la specializzazione nello spazio delle caratteristiche, addestrando un autoencoder sparso (SAE) sull’output di un livello MoE. Poiché questo output è una somma degli output degli esperti ponderata dal router e l’encoder del SAE è affine, la pre-attivazione di ogni variabile latente si scompone esattamente in base ai singoli esperti. Aggregando i risultati su un corpus, si ottiene per ogni esperto un insieme dominante di variabili latenti, la cui attivazione è principalmente determinata da quell’esperto. Nei livelli 4, 30 e 46 di Qwen3-30B-A3B, il contributo è molto più concentrato del gating, la maggior parte delle variabili latenti ha uno o due esperti dominanti e la sovrapposizione tra gli insiemi dominanti si concentra su poche coppie di esperti. L’interpretazione automatica di questi insiemi rivela una divisione del lavoro a un livello più fine rispetto ai domini generali: ci sono esperti distinti per Java e per il codice web front-end, oppure per la geometria e per l’aritmetica e i polinomi, mentre i domini generali stessi sono rappresentati da numeri molto diversi di esperti. I nostri SAE e il codice sono disponibili all’indirizzo https://github.com/Bytedance-Seed/SAE-Interprets-MoE.