The Pulse
FlashInfer no ROCm roteia automaticamente kernels de GPU da AMD
A versão do FlashInfer seleciona entre a biblioteca AITER da AMD e kernels HIP incorporados ao código para chamadas de atenção compatíveis. Ela também adiciona prefill FP8, operações fundidas de mixture-of-experts e outros recursos, mas precisa ser compilada a partir do código-fonte.

O FlashInfer no ROCm agora seleciona entre a biblioteca AITER da AMD e kernels HIP incorporados ao código para chamadas de atenção compatíveis, usando um backend automático como padrão. A versão, descrita em uma publicação no blog da AMD em 20 de novembro, também adiciona prefill FP8, operações fundidas de mixture-of-experts e decode com AITER sob captura de grafo CUDA.
FlashInfer é uma biblioteca open source de kernels de atenção e de serving de modelos de linguagem grandes. A versão para ROCm oferece suporte às GPUs AMD Instinct MI300X, MI325X, MI350X e MI355X. Seus wrappers de decode, prefill e atenção latente multi-head (MLA) mantêm as assinaturas e a ordem dos argumentos do FlashInfer upstream v0.6.18.
Como funciona o roteamento
Prefill individual, batch paged e batch ragged, assim como batch decode, têm backends AITER e HIP incorporados ao código. Para chamadas de atenção, a configuração automática primeiro verifica se o AITER consegue lidar com os tipos de dados, o layout do cache key-value, as máscaras e as dimensões dos heads e, em seguida, aplica regras de roteamento específicas para cada arquitetura.
A AMD afirma que essas regras seguem seus testes e benchmarks em GPUs CDNA3 e CDNA4. O caminho incorporado ao código lida com chamadas que o AITER não consegue atender, incluindo um cache key-value FP8 lido por uma consulta de 16 bits e batch decode usando tensor cores.
MLA e operações fundidas de mixture-of-experts usam apenas AITER. Operações de normalização, ativação, embedding posicional rotatório e acréscimo ao cache key-value usam kernels incorporados ao código por padrão, com AITER disponível como opção em alguns pontos de entrada.
Depois de planejar uma chamada de batch prefill ou batch decode, o wrapper informa o backend selecionado e, na maioria das recusas do AITER, o motivo do fallback. Os kernels de atenção do AITER são iniciados a partir do código C++ do FlashInfer; MLA continua sendo uma exceção, executando AITER por meio do Python.
Novas operações e limitações
A versão também traz operações de atenção em cascata, MLA e embedding posicional rotatório independente que estavam em desenvolvimento na versão anterior de atenção de prefill. POD-Attention sobrepõe prefill e decode em um único kernel.
A operação fundida de mixture-of-experts oferece suporte a bf16 e fp16, além de pesos de especialistas FP8. Cada peso de especialista precisa primeiro passar por pré-shuffle, após a quantização dos pesos FP8.
Os kernels incorporados ao código para cache key-value FP8 usam codificações FNUZ nas duas arquiteturas compatíveis e rejeitam codificações OCP. Na gfx950, um cache gravado em float8_e4m3fn para prefill FP8 do AITER também não pode ser lido pelo decode: o decode incorporado ao código rejeita essa codificação, enquanto o decode do AITER aceita apenas caches key-value de 16 bits.
Alguns módulos upstream não são compatíveis com ROCm porque encapsulam bibliotecas exclusivas do CUDA ou outros componentes específicos do CUDA. Outras operações, incluindo flashinfer.topk e a atualização seletiva de estado em flashinfer.mamba, não têm implementação para ROCm.
Build e compilação
A configuração compatível usa ROCm 10.1.0, PyTorch 2.12.0, Python 3.12, Ubuntu 24.04 e amd-aiter 0.1.21.post2 compilado a partir do código-fonte. Nenhum wheel ou imagem pré-compilada é publicado para a versão, então o FlashInfer no ROCm precisa ser compilado a partir do repositório.
Operações selecionadas de atenção, acréscimo ao cache e mixture-of-experts fundido podem ser compiladas com torch.compile quando a flag de operações personalizadas é definida antes da importação do FlashInfer. A AMD alerta que o PyTorch 2.12 pode compilar silenciosamente de forma incorreta uma operação que grava em uma view de um tensor maior e especifica caches key e value alocados separadamente para append_paged_kv_cache.
Fontes
- Fonte original · Post de blog AMD ROCm Blogs rocm.blogs.amd.com
Empresas nesta notícia
Notícias relacionadas
- vLLM detalha MonoKernels FlyDSL opcionais para decodificação mais rápida em GPUs AMD
- OpenAI diz que seus modelos melhoraram em até 14% os projetos de GPUs da AMD
- Unsloth Desktop adiciona inferência local em PCs Ryzen AI com NPUs AMD XDNA 2
- AMD publica Nitro-P para geração de imagens em espaço de pixels
- Supermicro começa a enviar servidores de armazenamento all-flash PCIe Gen 6 para IA