CHARM+: attenzione tra hardware con meccanismo multistream Re-Merge

Abstract degli autori

Con il continuo aumento delle lunghezze delle sequenze, l’attenzione distribuita basata sul parallelismo di sequenza (per esempio Ring-Attention) è diventata una soluzione diffusa per i modelli linguistici di grandi dimensioni (LLM). Tuttavia, le dipendenze intrinseche della comunicazione limitano la sovrapposizione tra calcolo e comunicazione, riducendo l’utilizzo delle GPU. Inoltre, nelle architetture tra hardware (NUMA o tra nodi), la larghezza di banda di comunicazione sbilanciata fa sì che la frequente sincronizzazione delle comunicazioni limiti le prestazioni complessive. Sulla base di queste osservazioni, proponiamo CHARM+, Cross-Hardware Attention with Re-Merge Multistream Mechanism. Riorganizziamo le comunicazioni sequenziali su più livelli, ottenendo parallelismo all’interno di ciascun livello e sovrapposizione con il calcolo. Inoltre, separiamo la comunicazione tra hardware da quella all’interno dello stesso hardware, eliminando l’overhead di sincronizzazione causato dallo squilibrio della larghezza di banda. Gli algoritmi forward e backward sono stati valutati su diverse architetture hardware e hanno costantemente superato i metodi più avanzati. Rispetto a Ring-Attention, i nostri algoritmi forward e backward raggiungono accelerazioni medie rispettivamente di 1,3x e 1,7x su un’architettura dual-NUMA PCIe e di 2,8x e 2,9x su un’architettura dual-node NVLink.