E-MoE: Enhanced Mixture-of-Experts per modelli linguistici a diffusione non fattorizzati

Abstract degli autori

I modelli a diffusione mascherata (MDM) generano sequenze rimuovendo progressivamente la maschera da più token a ogni passaggio di eliminazione del rumore. Il loro processo inverso, però, è di norma fattorizzato rispetto alle posizioni: questo limita la qualità dei campioni quando i passaggi sono pochi, proprio dove conta di più il vantaggio di velocità della diffusione rispetto alla decodifica autoregressiva. Un recente filone di ricerca introduce una variabile latente gaussiana continua, addestrata come autoencoder variazionale, per cogliere le correlazioni tra le posizioni. Questi approcci sono però soggetti al collasso della distribuzione a posteriori, in cui la variabile latente viene ignorata senza che ciò sia evidente. Proponiamo Enhanced Mixture-of-Experts (E-MoE), che costruisce il processo inverso come una miscela di distribuzioni fattorizzate basata su una variabile latente discreta condivisa, definita dalle decisioni di instradamento verso gli esperti di un’architettura di base Mixture-of-Experts (MoE), senza aumentare il numero di parametri attivi rispetto al modello di riferimento fattorizzato. Nei benchmark sintetici multimodali, su MNIST binarizzato e su LM1B, E-MoE migliora la generazione in pochi passaggi rispetto ai modelli di riferimento fattorizzati.