LatentLoop: aumentare la scala dei modelli MoE iterativi con un’allocazione asimmetrica del calcolo

Abstract degli autori

I modelli Mixture-of-Experts (MoE) iterativi combinano il riutilizzo dei parametri con il calcolo sparso per migliorare le prestazioni a parità di budget. Studi precedenti mostrano che i diversi passaggi del ciclo possono svolgere ruoli differenti anche quando condividono i parametri. Per esaminare il contributo di ciascun passaggio, apprendiamo coefficienti residui distinti in un modello che applica due volte un blocco condiviso e osserviamo una scala minore nel primo passaggio. Esperimenti con coefficienti fissi mostrano che ridurre la scala del primo passaggio mantiene o migliora le prestazioni, mentre riduzioni analoghe nel secondo le peggiorano. Questa asimmetria ci spinge a esplorare un’allocazione asimmetrica del calcolo. Proponiamo \textbf{LatentLoop}, che comprime la sequenza nel primo passaggio, mantiene la risoluzione completa nel secondo e riassegna il calcolo risparmiato per aumentare la dimensione nascosta. Apprendiamo inoltre con quale intensità il primo passaggio aggiorna la sequenza completa e condividiamo i pesi MoE tra i passaggi, usando parametri di attenzione distinti per adattarci alle loro diverse risoluzioni della sequenza. In 15 configurazioni da 1,3B--7B parametri, con il budget più elevato superiore a $10^{21}$ FLOPs, LatentLoop riduce sistematicamente la NLL di validazione. A una NLL stimata mediante fitting pari a 1,988, il risparmio di calcolo previsto è del 19,0\% rispetto al modello MoE standard e del 7,9\% rispetto al modello di riferimento iterativo. Migliora anche i punteggi medi su nove benchmark a tutte le dimensioni, sia in configurazione 0-shot sia in configurazione 5-shot. Questi risultati suggeriscono che l’allocazione asimmetrica del calcolo è una direzione promettente per i modelli MoE iterativi.