Fattorizzazione con basi condivise a basso rango per la compressione senza dati dei modelli Mixture-of-Experts

Abstract degli autori

I modelli linguistici di grandi dimensioni Mixture-of-Experts (MoE) separano la capacità dal costo computazionale grazie all’instradamento sparso, ma il loro elevato numero di parametri pone problemi di archiviazione ed erogazione. Analizziamo tre famiglie di metodi per comprimere i modelli MoE — pruning degli esperti, fusione degli esperti e ricostruzione dei pesi — e ricaviamo limiti sull’errore strutturale che mostrano come il pruning e la fusione possano produrre errori che non si annullano, legati all’instradamento e all’eterogeneità degli esperti. La ricostruzione dei pesi, invece, evita questi costi strutturali perché preserva la struttura degli esperti e l’instradamento. Sulla base di questa analisi, proponiamo Shared Low-rank Basis Factorization (SLBF), un metodo di ricostruzione dei pesi senza dati che usa basi di rango $k$ condivise tra gli esperti, consentendo una condivisione più ampia tra esperti, una convergenza più rapida e un errore di ricostruzione inferiore. Un fissaggio di gauge a posteriori elimina i parametri ridondanti senza alcuna perdita di capacità rappresentativa. Su cinque architetture MoE con un numero di parametri compreso tra 16B e 122B, SLBF supera sistematicamente i metodi di tutte e tre le famiglie di compressione.