Ir para o conteúdo
AI.info

The Pulse

vLLM detalha MonoKernels FlyDSL opcionais para decodificação mais rápida em GPUs AMD

Uma publicação do vLLM explica como o caminho opcional MonoKernel combina operações do modelo em GPUs AMD Instinct e em quais casos retorna à execução padrão. Para o DeepSeek-V4.1-Flash, o texto relata que a interatividade P90 com concorrência 1 passou de 318,1 para 429,1 tokens por segundo por usuário.

vLLM detalha MonoKernels FlyDSL opcionais para decodificação mais rápida em GPUs AMD

A ativação de um caminho especializado de kernel do vLLM elevou a interatividade P90 com concorrência 1 do DeepSeek-V4.1-Flash de 318,1 para 429,1 tokens por segundo por usuário em um nó AMD MI355X, informou o projeto vLLM em uma publicação de 18 de novembro. A publicação descreveu como seus MonoKernels FlyDSL opcionais combinam partes da execução do modelo para reduzir o intervalo entre tokens gerados em GPUs AMD Instinct.

A comparação foi feita no mesmo nó, com tamanho de paralelismo tensorial dois e a versão padrão do vLLM como referência. Ao longo da varredura de concorrência, a publicação relata uma vazão total de 1,04 a 1,16 vez o valor da versão padrão; ela descreve a interatividade da decodificação, não a velocidade de uma tarefa completa de agente.

Combinação de trabalho em um único lançamento

A geração de uma resposta envolve uma sequência de kernels de GPU para operações que incluem atenção e cálculo de especialistas. Com tamanhos de lote pequenos, kernels individuais podem executar pouco trabalho e ainda assim incorrer em custos de inicialização e conclusão. A publicação afirma que esses custos podem representar uma parte substancial da latência de decodificação, mesmo quando os gráficos HIP reduzem a sobrecarga de lançamento pela CPU.

Um MonoKernel combina estágios dependentes em um único lançamento de kernel de GPU, com uma programação definida por seu autor. Um modelo pode usar vários desses kernels; o nome não significa que o modelo inteiro seja executado em um único kernel.

Blocos de threads podem prosseguir para os estágios seguintes quando as entradas necessárias estiverem prontas.

Limites diferentes para modelos diferentes

A implementação inicial do DeepSeek-V4.1-Flash divide o caminho padrão da camada decodificadora entre kernels chamados K1 e K2. O K1 prepara as entradas de atenção e atualiza o cache de chave e valor; o K2 conclui a atenção e o trabalho de feed-forward, incluindo reduções de paralelismo tensorial dentro do kernel. Essas reduções dentro do kernel não eliminam a comunicação ou a sincronização entre os ranks.

Na implementação inicial do MiniMax-M3, o limite da fusão é mais estreito: ele abrange a parte de feed-forward e a comunicação ao redor dela, enquanto a atenção continua no caminho padrão. A escolha depende das dependências do modelo, do padrão de comunicação e dos limites de recursos da GPU.

FlyDSL é a linguagem específica de domínio em Python da AMD e o compilador MLIR para kernels ROCm. Os autores dos kernels escolhem a programação e a sincronização; o FlyDSL compila esse projeto, em vez de fundir ou reordenar os estágios automaticamente.

Execução opcional e testes

O caminho fica desativado por padrão e pode ser ativado com --monokernel. Implantações não compatíveis falham na inicialização, com os motivos listados. O prefill, os lotes mistos e as etapas largas demais para os kernels especializados usam as camadas padrão; já as etapas elegíveis de verificação especulativa podem usar o caminho mono.

O escalonador, o gerenciador de cache, a amostragem, a decodificação especulativa e os gráficos HIP permanecem em uso. Os kernels usam os pesos e o cache carregados pelo vLLM e retornam os mesmos tensores no limite da camada, permitindo misturar camadas especializadas e padrão em uma etapa.

Fontes

  1. Fonte original vLLM Blog vllm-project.github.io

Notícias relacionadas

Explore

Mais artigos