Ciò che conserviamo di ciò che dimentichiamo: operatori di sostituzione e semantica del routing nel pruning degli esperti MoE senza addestramento

Abstract degli autori

Il pruning degli esperti senza addestramento comporta due decisioni: quali esperti rimuovere e cosa calcola il layer quando il router seleziona ancora un esperto rimosso. I metodi pubblicati modificano entrambe le cose contemporaneamente. A maschera invariata, confrontiamo operatori di sostituzione appartenenti a tre famiglie su OLMoE, DeepSeek-V2-Lite e Moonlight, con Granite come quarto router, usando test appaiati con correzione per confronti multipli. L’effetto maggiore dipende da una scelta che di solito resta implicita: la scala dei gate degli esperti superstiti. Nei router addestrati senza rinormalizzazione top-k, rinormalizzare i gate degli esperti superstiti, una scelta comune in fase di implementazione, costa 0,8-8,5 punti e cambia quale dei due prevale: il rerouting o la sostituzione con l’output medio di MoNE. Nei due router addestrati con la rinormalizzazione, a un pruning del 50% prevale la scala appresa in addestramento. Introduciamo il tilted novice, una mappa a basso rango, in forma chiusa, dell’input dell’esperto potato, il cui caso di rango 0 corrisponde alla costante di MoNE. Con un pruning del 50%, aggiunge l’1,2-1,8% di parametri e supera la costante di 3,45 e 1,37 punti, rispettivamente su OLMoE e Moonlight; i risultati sono stabili rispetto alle estrazioni di calibrazione e in gran parte invariati con la quantizzazione a 4 e 3 bit. Nessun operatore prevale in assoluto: il rerouting con la scala appresa in addestramento è il migliore su DeepSeek-V2-Lite, mentre una copia parziale di ciascun esperto potato è statisticamente indistinguibile dal tilted novice su due modelli. La valutazione può cambiare le conclusioni: con un pruning del 25%, la costante di MoNE conserva il 92-97% dell’accuratezza nei test a scelta multipla rispetto al modello denso, ma solo il 5-65% dei risultati su GSM8K e lo 0-17% dei punteggi di programmazione; il dominio di calibrazione sposta la maschera da 4 a 9 volte più del ricampionamento. Proponiamo una checklist di cinque voci per la rendicontazione.