EDWARD-NMT: dimensioni elastiche con instradamento adattivo e doppia coerenza per la traduzione automatica neurale

Abstract degli autori

La miscela sparsa di esperti (MoE) è un approccio efficace per aumentare la scala della traduzione automatica neurale (NMT) e gestire l’eterogeneità delle lingue. Tuttavia, alcuni limiti pratici ne ostacolano l’impiego su dispositivi con risorse limitate: l’intero insieme degli esperti deve rimanere in memoria e la quantità di calcolo destinata a ciascun token viene fissata durante l’addestramento da un rigido instradamento top-k. Presentiamo EDWARD-NMT (Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT), una nuova architettura MoE encoder-decoder progettata secondo il principio «addestrare una volta, distribuire ovunque», che rende disponibile in fase di inferenza una famiglia di sottoreti utilizzabili. EDWARD-NMT integra tre innovazioni principali: (i) dimensioni elastiche in stile Matryoshka per ridurre in modo flessibile la memoria necessaria; (ii) un router sigmoide adattivo con una soglia appresa e condizionata dal compito, che consente a ogni token di determinare dinamicamente quanti esperti attivare; e (iii) un obiettivo di doppia coerenza per massimizzare le prestazioni delle sottoreti estratte. Ampi esperimenti su PhoMT (En-Vi), WMT-14 (En-De), OPUS-16 multilingue e un benchmark De-En multidominio convalidano il nostro approccio. L’architettura a piena capacità eguaglia o supera solide soluzioni MoE di riferimento, con una migliore efficienza nell’uso dei parametri. Inoltre, le sottoreti estratte direttamente da un unico checkpoint superano sistematicamente Transformer densi di dimensioni comparabili, senza alcun ulteriore addestramento.