Sparsità annidata per il preaddestramento scalabile e l’apprendimento continuo

Abstract degli autori

I transformer mixture-of-experts (MoE), architettura portante standard del moderno deep learning su larga scala, impiegano il calcolo condizionale: a ogni passaggio in avanti viene usato solo un sottoinsieme sparso dei pesi del modello. Nei transformer MoE, questa sparsità deriva dall’operatore MoE, che generalizza il percettrone multistrato del transformer classico. In questo lavoro esploriamo un meccanismo alternativo di calcolo condizionale che generalizza, in modo analogo, l’operatore di attenzione. La sparsità indotta da questo meccanismo si combina naturalmente in modo annidato, cioè gerarchico, con quella indotta dall’operatore MoE. Mostriamo che un transformer che impiega questo meccanismo di sparsità annidata, da noi chiamato Nestor, ottiene risultati migliori di un transformer MoE convenzionale nel preaddestramento di modelli linguistici, a parità di calcolo e di sparsità. Mostriamo inoltre che Nestor si presta bene al preaddestramento continuo: può essere adattato a contesti più lunghi con maggiore efficacia rispetto ai MoE convenzionali e a nuovi domini con maggiore efficienza, dimenticando meno quanto appreso nei domini precedenti. Dimostriamo, inoltre, che questi vantaggi persistono all’aumentare delle dimensioni del modello e del dataset e della lunghezza del contesto. I nostri risultati mostrano il potenziale di meccanismi alternativi di calcolo condizionale per le architetture di reti neurali profonde. Il codice e i checkpoint sono disponibili su GitHub all’indirizzo https://github.com/Ma-Lab-Berkeley/Nestor .