Meta Expert: condivisione degli esperti tra livelli per una MoE efficiente nell’archiviazione e nel recupero

Abstract degli autori

All’aumentare del numero di parametri dei modelli, gli approcci Mixture-of-Experts (MoE) ad attivazione sparsa sono diventati essenziali per aumentarne la scala. Tuttavia, i modelli oggi più diffusi adottano architetture gerarchiche in cui gli esperti di livelli diversi, pur essendo topologicamente indipendenti, presentano notevoli somiglianze e ridondanze nei contenuti archiviati. Rispetto ai \textbf{Local Expert} disposti gerarchicamente nei modelli oggi più diffusi, ipotizziamo che i \textbf{Meta Expert} condivisi tra livelli offrano maggiori potenzialità. A questo scopo, conduciamo un confronto empirico multidimensionale tra Local Expert e Meta Expert e rileviamo che i modelli che incorporano Meta Expert presentano una minore ridondanza dei parametri, oltre a una minore perdita di entropia incrociata e a una maggiore accuratezza nei compiti a valle. A parità di numero di esperti attivati e di granularità degli esperti, \textbf{il nostro modello eguaglia le prestazioni di Vanilla MoE usando soltanto il 70--80\% degli esperti}, migliorando notevolmente le possibilità di aumentarne la scala. Oltre a eliminare la ridondanza tra gli esperti di livelli diversi e a migliorare l’efficienza dell’archiviazione delle informazioni, la nostra analisi teorica mostra inoltre che, rispetto ai Local Expert, i Meta Expert offrono agli stati nascosti percorsi residuali più flessibili, migliorando così l’efficienza del recupero delle informazioni.