Residui dell’attenzione a flussi multipli

Abstract degli autori

Attention Residuals (AttnRes) consente di recuperare rappresentazioni in funzione del contenuto lungo la profondità della rete, con un meccanismo interpretabile come un’attenzione softmax a flusso singolo lungo l’asse della profondità. Ispirati dal successo dell’attenzione a più teste lungo l’asse della sequenza, introduciamo Multi-Stream Attention Residuals (MSAR), un’estensione di AttnRes che generalizza questo meccanismo all’attenzione a più teste lungo l’asse della profondità, ottenendo notevoli miglioramenti delle prestazioni con un sovraccarico aggiuntivo minimo. MSAR ricava la diversità dei flussi dal contesto della sequenza mediante convoluzioni causali multiscala, consentendo alle diverse teste di recuperare rappresentazioni precedenti attraverso prospettive contestuali distinte, senza compromettere l’integrità della rappresentazione nascosta. I flussi recuperati vengono combinati con un leggero meccanismo di combinazione adattiva per generare l’input del livello a flusso singolo. Mantenendo le sorgenti a flusso singolo ed espandendole secondo necessità, MSAR supporta il calcolo a flussi multipli senza richiedere la memorizzazione o la comunicazione persistente di più flussi. In tutti e 12 i benchmark per attività a valle alle scale MoE di 18B e 28B, MSAR supera costantemente le precedenti varianti delle connessioni residue, comprese le connessioni residue standard, Hyper-Connections con vincoli di varietà (mHC) e AttnRes. Gli esperimenti sulle leggi di scala mostrano un’accelerazione del calcolo a parità di perdita di $1.58\times$ rispetto alla configurazione di riferimento con connessioni residue standard, contro $1.35\times$ per AttnRes e $1.30\times$ per mHC. Questi risultati rendono MSAR un’architettura residua promettente per il pre-addestramento su larga scala.