The Pulse
vLLM illustra le MonoKernels opt-in di FlyDSL per decodificare più velocemente sulle GPU AMD
Un post di vLLM spiega come il percorso MonoKernel opt-in combini operazioni del modello sulle GPU AMD Instinct e in quali casi torni all’esecuzione standard. Per DeepSeek-V4.1-Flash, riporta che l’interattività P90 a concorrenza 1 passa da 318,1 a 429,1 token al secondo per utente.

L’attivazione di un percorso specializzato di kernel vLLM ha portato l’interattività P90 a concorrenza 1 di DeepSeek-V4.1-Flash da 318,1 a 429,1 token al secondo per utente su un nodo AMD MI355X, ha dichiarato il progetto vLLM in un post del 18 novembre. Il post descrive come le MonoKernels opt-in di FlyDSL combinino parti dell’esecuzione del modello per ridurre il ritardo tra i token generati sulle GPU AMD Instinct.
Il confronto è stato effettuato sullo stesso nodo, con una dimensione del parallelismo tensoriale pari a due e vLLM standard come riferimento. Nell’intero intervallo di concorrenza testato, il post riporta un throughput totale pari a 1,04-1,16 volte il dato di vLLM standard; descrive l’interattività della decodifica, non la velocità di un’intera attività di un agente.
Combinare le operazioni in un singolo lancio
La generazione di una risposta comporta una sequenza di kernel GPU per operazioni che includono l’attenzione e il calcolo degli esperti. Con dimensioni ridotte dei batch, i singoli kernel possono svolgere poco lavoro pur comportando costi di avvio e completamento. Secondo il post, questi costi possono rappresentare una parte sostanziale della latenza di decodifica, anche quando i grafi HIP riducono l’overhead dei lanci da parte della CPU.
Una MonoKernel combina fasi dipendenti tra loro in un singolo lancio di kernel GPU, seguendo una pianificazione definita dal suo autore. Un modello può usare diversi kernel di questo tipo: il nome non significa che l’intero modello venga eseguito in un solo kernel.
I blocchi di thread possono proseguire nelle fasi successive quando sono pronti gli input necessari.
Confini diversi per modelli diversi
L’implementazione iniziale di DeepSeek-V4.1-Flash suddivide il percorso standard del decoder layer tra kernel denominati K1 e K2. K1 prepara gli input per l’attenzione e aggiorna la cache key-value; K2 completa l’attenzione e le operazioni feed-forward, incluse le riduzioni del parallelismo tensoriale eseguite all’interno del kernel. Queste riduzioni interne al kernel non eliminano la comunicazione o la sincronizzazione tra i rank.
Nell’implementazione iniziale di MiniMax-M3, il confine della fusione è più ristretto: comprende la parte feed-forward e la comunicazione circostante, mentre l’attenzione resta sul percorso standard. La scelta dipende dalle dipendenze del modello, dal suo schema di comunicazione e dai limiti delle risorse della GPU.
FlyDSL è il linguaggio specifico di dominio Python di AMD e un compilatore MLIR per i kernel ROCm. Gli autori dei kernel scelgono la pianificazione e la sincronizzazione; FlyDSL compila il progetto, senza fondere o riordinare automaticamente le fasi.
Esecuzione opt-in e test
Il percorso è disattivato per impostazione predefinita e può essere abilitato con --monokernel. Le configurazioni non supportate non si avviano e riportano i motivi. Il prefill, i batch misti e i passaggi troppo ampi per i kernel specializzati usano invece i layer standard, mentre i passaggi idonei di verifica speculativa possono usare il percorso mono.
Lo scheduler, il gestore della cache, il campionamento, la decodifica speculativa e i grafi HIP restano invariati. I kernel usano i pesi e la cache caricati da vLLM e restituiscono gli stessi tensori al confine del layer, consentendo di combinare layer specializzati e standard all’interno di un passaggio.
Fonti
- Fonte originale vLLM Blog vllm-project.github.io
Notizie correlate
- Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD
- AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER
- AMD segnala il riutilizzo della cache dei token in un benchmark di agenti di programmazione
- AMD conclude l’acquisizione di Taalas per aggiungere silicio per l’inferenza alla roadmap dei suoi acceleratori
- AMD illustra i trasferimenti DMA avviati dalla GPU per carichi di lavoro multi-GPU