The Pulse
NVIDIA illustra i compromessi dell’attenzione sparsa per l’IA con contesti lunghi
NVIDIA ha pubblicato misurazioni e indicazioni di progettazione per l’attenzione sparsa sulle proprie GPU. In un esempio di prefill con 128K token, le fasi di indicizzazione e selezione hanno rappresentato il 47% del tempo di un layer di DeepSeek V3.2.

L’attenzione sparsa può ridurre il lavoro svolto da un modello di IA su un input lungo, ma individuare quali parti di quell’input utilizzare può richiedere a sua volta molto tempo: in un esempio di NVIDIA, le fasi di indicizzazione e selezione hanno rappresentato il 47% del tempo di prefill di un layer di DeepSeek V3.2. NVIDIA ha pubblicato la misurazione e le indicazioni di progettazione per le proprie GPU in un post tecnico sul blog il 17 novembre.
Il confronto nel post utilizza una sequenza di input lunga 128K token. Esamina il prefill, la fase in cui un modello elabora il proprio input, e il decode, quando genera l’output.
Dove si concentra il lavoro
L’attenzione densa calcola un punteggio per ogni query rispetto a ogni chiave del contesto. L’attenzione sparsa, invece, esegue l’attenzione principale su un insieme più ristretto di chiavi selezionate per ciascuna query, riducendo il calcolo dell’attenzione e il traffico di memoria nei contesti lunghi.
La selezione richiede a sua volta del lavoro. Un indicizzatore assegna un punteggio a ogni chiave, una fase Top-k mantiene le chiavi con i punteggi più alti e l’attenzione principale opera sulle chiavi e sui valori selezionati. Il lavoro dell’indicizzatore continua a crescere in proporzione alla lunghezza complessiva del contesto.
La guida introduttiva dell’azienda si concentra sulla sparsità integrata nel modello durante l’addestramento, anziché sui metodi applicati dopo l’addestramento. Utilizza un kernel di produzione per esaminare le scelte relative all’indicizzatore, i costi della selezione e l’impiego di singoli token o blocchi nell’attenzione principale.
Misurare l’indicizzatore
Un indicizzatore utilizza teste di query per calcolare punteggi rispetto a una cache di chiavi, quindi elabora i punteggi per ottenere un logit per ciascuna chiave. Il post esamina come il numero di teste, le loro dimensioni e il decode speculativo influenzino il lavoro.
Salvo diversa indicazione, le misurazioni utilizzano un kernel dell’indicizzatore FP8 con 64K chiavi e un rapporto di compressione pari a 4. Le altre impostazioni predefinite includono una dimensione della testa di 128, una testa di chiave, una dimensione del batch di prefill pari a 1 e una dimensione del batch di decode pari a 128.
Secondo il post, nelle misurazioni il runtime del decode è variato solo del 2% mentre la dimensione del gruppo — il numero di teste di query che calcolano punteggi rispetto a una testa di chiave condivisa — è aumentata di 16 volte. Il prefill ha avuto un andamento diverso: raddoppiare la dimensione del gruppo da 8 a 16 ha aumentato il runtime di 1,66 volte.
Far rientrare il lavoro in un tile
Il decode speculativo permette all’indicizzatore di calcolare in un solo passaggio i punteggi dei token di bozza rispetto alla stessa cache di chiavi. NVIDIA afferma che il lavoro aggiuntivo può essere relativamente contenuto finché le righe delle query rientrano in un’unica passata su quella cache.
Un tile Tensor Core può contenere fino a 256 righe di query, ma, con un epilogo FP32, la pressione sui registri limita il tile pratico a circa 200 righe. Il post riferisce che ciò consente di gestire sei token di query con una dimensione del gruppo pari a 32, oppure 26 con una dimensione del gruppo pari a 8. Superata questa soglia, le righe non rientrano più in un singolo tile e il runtime aumenta bruscamente.
Con un epilogo FP16, il tile si estende a 256 righe; il post riferisce un’accelerazione di 1,31 volte dell’indicizzatore in decode con una dimensione del gruppo pari a 64 e quattro token di query per passaggio. Usando FP16 anche per l’accumulo si è arrivati a 1,45 volte, ma solo quando la scalatura query-key dell’indicizzatore manteneva i risultati delle moltiplicazioni matriciali entro l’intervallo rappresentabile in FP16.
Fonte
Aziende in questa notizia
Notizie correlate
- NVIDIA presenta Dory, un modello da 4B con profondità di inferenza regolabile
- Hugging Face passa a OpenRouter per instradare le richieste ai modelli linguistici
- NVIDIA illustra un modello da 2 miliardi di parametri per il ragionamento a bordo dei veicoli autonomi
- NVIDIA e UW rendono aperto RFD4-Proteina per la progettazione di proteine
- NVIDIA mette in vendita il kit per sviluppatori DGX Spark a quattro nodi