Superare la trappola dell’uniformità: aumentare la scala di un modello di diffusione video con SplitMoE

Abstract degli autori

La Mixture-of-Experts (MoE), resa popolare dai grandi modelli linguistici, è un paradigma promettente per aumentare la scala dei modelli generativi visivi. Tuttavia, la MoE convenzionale, che instrada i token singolarmente, li assegna in modo indipendente all’interno di un insieme omogeneo di esperti e regolarizza l’impiego di questi ultimi affinché sia uniforme. Per questo si adatta poco ai dati video, che presentano ridondanza spazio-temporale e una distribuzione semantica a coda lunga. Mostriamo che le MoE visive esistenti cadono in una trappola dell’uniformità: un instradamento poco strutturato sul piano semantico, aggravato dalla regolarizzazione che impone un impiego uniforme degli esperti, disperde patch coerenti tra esperti diversi, causando la frammentazione dell’instradamento e distorsioni strutturali. Per affrontare il problema, proponiamo SplitMoE, un’architettura sparsa a ruoli distinti che si libera dai vincoli dell’uniformità. Per tenere conto dello squilibrio semantico intrinseco, dividiamo esplicitamente l’insieme degli esperti in esperti semantici ed esperti generici: i primi catturano astrazioni semantiche di alto livello, mentre i secondi preservano le informazioni visive residue e una capacità generativa flessibile. Grazie a un instradamento guidato da prototipi e a una regolarizzazione pull-push, SplitMoE consente ai token di raggrupparsi naturalmente in base agli attributi semantici, anziché secondo vincoli arbitrari di bilanciamento. Numerosi risultati mostrano che, a parità di budget di parametri attivati, SplitMoE supera le MoE tradizionali con carico bilanciato per velocità di convergenza, coerenza dell’instradamento e qualità della generazione video su benchmark standard. Rivelando una logica emergente di denoising dal grossolano al fine, SplitMoE offre alla comunità un percorso per aumentare la scala dei modelli che tiene conto della modalità, fungendo da riferimento fondamentale per costruire modelli del mondo video su larga scala.