DivMoE: upcycling di MoE a grana fine mediante la composizione di esperti di domini diversi

Abstract degli autori

Le architetture Mixture-of-Experts (MoE) sono diventate essenziali per aumentare la scala dei grandi modelli linguistici, e studi recenti hanno mostrato i vantaggi degli esperti a grana fine. Addestrare questi modelli da zero è costoso; l’upcycling sparso di modelli densi pre-addestrati offre un’alternativa interessante. Individuiamo però un problema strutturale nell’upcycling a grana fine: quando gli esperti a grana fine derivano da un unico modello di origine, un instradamento ingenuo collassa e l’accuratezza nei compiti a valle scende vicino al livello casuale (per esempio, su Qwen3-1.7B, Drop-Upcycling-fine-grained raggiunge appena il 23,2% di accuratezza media su 15 benchmark, sostanzialmente pari al 22,2% dell’addestramento da zero, mentre la variante a grana grossa dello stesso metodo arriva al 50,2%). Proponiamo DivMoE, il primo framework che realizza l’upcycling di MoE a grana fine con un instradamento strutturalmente bilanciato. DivMoE introduce un’inizializzazione di esperti a grana fine specializzati per dominio, ricavati da modelli densi sottoposti a pre-addestramento continuo adattivo al dominio, e un instradamento vincolato alla diversità: un vincolo strutturale rigido che garantisce che ogni token attivi esperti appartenenti a gruppi di domini distinti. Su due modelli di base e 15 benchmark, DivMoE supera sistematicamente sei metodi di riferimento per l’upcycling (55,6% contro il 51,6% del migliore su Qwen3-1.7B) e, dopo il pre-addestramento continuo della fase 2, supera il modello di base denso in ciascun benchmark, eliminando il divario dovuto al calo delle prestazioni che ha afflitto i precedenti approcci di upcycling a grana fine. Dopo il fine-tuning supervisionato su una raccolta pubblica di dati per il ragionamento, il nostro modello DivMoE da 12 miliardi di parametri eguaglia Moonlight-MoE (16 miliardi di parametri) con un’accuratezza media del 64,5%, superando al contempo una baseline NVIDIA-Upcycling controllata di 6,1 punti percentuali.