RouterInterp: comprendere la specializzazione sovrapposta nell’instradamento dei Mixture of Experts

Abstract degli autori

I modelli Mixture of Experts (MoE) sparsi crescono di scala in modo più efficiente rispetto ai modelli densi, instradando i token verso reti modulari di esperti che si attivano solo per elaborare una frazione dei token. Una delle principali ipotesi sulle prestazioni dei modelli MoE è che ogni esperto si specializzi in un unico ambito coerente. Tuttavia, i tentativi di interpretare questi modelli basati su tale ipotesi sono stati generalmente infruttuosi. Proponiamo una spiegazione alternativa, che chiamiamo Superposed Specialisation Hypothesis (SSH), e ne presentiamo le prove: gli esperti si specializzano in un’unione disgiunta di caratteristiche a grana fine, anziché in un unico ambito ampio. Sfruttando la SSH, introduciamo RouterInterp, un metodo per interpretare l’instradamento verso gli esperti che individua le caratteristiche degli autoencoder sparsi più predittive delle decisioni di instradamento e produce spiegazioni unificate in linguaggio naturale. Su gpt-oss-20b, RouterInterp spiega l’instradamento verso gli esperti con un’accuratezza di rilevamento superiore di ${\sim}65\%$ rispetto ai precedenti metodi basati sulle statistiche dei token. Questo lavoro offre un metodo scalabile per generare spiegazioni più accurate dell’instradamento verso gli esperti e accresce la nostra comprensione di una componente dei modelli fondazionali finora non interpretabile.