The Pulse
FlashInfer en ROCm enruta automáticamente los kernels de GPU de AMD
La versión de FlashInfer selecciona entre la biblioteca AITER de AMD y los kernels HIP integrados en el código para las llamadas de atención admitidas. También añade prefill FP8, operaciones fusionadas de mezcla de expertos y otras funciones, pero debe compilarse desde el código fuente.

FlashInfer en ROCm ahora selecciona entre la biblioteca AITER de AMD y los kernels HIP integrados en el código para las llamadas de atención admitidas, mediante un backend automático predeterminado. La versión, descrita en una publicación del blog de AMD del 20 de noviembre, también añade prefill FP8, operaciones fusionadas de mezcla de expertos y decode de AITER bajo captura de gráficos de CUDA.
FlashInfer es una biblioteca de código abierto de kernels de atención y de serving de modelos de lenguaje grandes. La versión para ROCm es compatible con las GPU AMD Instinct MI300X, MI325X, MI350X y MI355X. Sus wrappers de decode, prefill y atención latente multihead (MLA) mantienen las firmas y el orden de los argumentos de FlashInfer v0.6.18 upstream.
Cómo funciona el enrutamiento
El prefill individual, el prefill paginado por lotes y el prefill ragged por lotes, así como el decode por lotes, cuentan tanto con backends AITER como con kernels HIP integrados en el código. Para las llamadas de atención, la configuración automática comprueba primero si AITER puede gestionar los tipos de datos, la disposición de la caché de claves y valores, las máscaras y las dimensiones de las cabezas; después, aplica reglas de enrutamiento específicas de cada arquitectura.
AMD afirma que esas reglas se basan en sus pruebas y benchmarks en GPU CDNA3 y CDNA4. La ruta integrada en el código gestiona las llamadas que AITER no puede atender, incluida la lectura de una caché de claves y valores FP8 mediante una consulta de 16 bits y el decode por lotes que usa núcleos tensoriales.
MLA y las operaciones fusionadas de mezcla de expertos usan únicamente AITER. Las operaciones de normalización, activación, incrustación de posición rotatoria y anexado a la caché de claves y valores usan por defecto kernels integrados en el código, aunque AITER está disponible como opción para algunos puntos de entrada.
Tras planificar una llamada de prefill o decode por lotes, el wrapper indica el backend seleccionado y, en la mayoría de los casos en que AITER rechaza la llamada, el motivo del fallback. Los kernels de atención de AITER se ejecutan desde el código C++ de FlashInfer; MLA sigue siendo una excepción y ejecuta AITER mediante Python.
Nuevas operaciones y limitaciones
La versión también incorpora operaciones de atención en cascada, MLA e incrustación de posición rotatoria independiente, que estaban en desarrollo en la versión anterior de atención de prefill. POD-Attention solapa el prefill y el decode en un solo kernel.
La operación fusionada de mezcla de expertos admite bf16 y fp16, así como pesos de expertos FP8. Cada peso de experto debe reordenarse previamente; en el caso de los pesos FP8, esto debe hacerse después de la cuantización.
Los kernels integrados en el código para la caché de claves y valores FP8 usan codificaciones FNUZ en ambas arquitecturas admitidas y rechazan las codificaciones OCP. En gfx950, una caché escrita en float8_e4m3fn para el prefill FP8 de AITER tampoco puede leerse mediante decode: el decode integrado en el código rechaza esa codificación, mientras que el decode de AITER solo acepta cachés de claves y valores de 16 bits.
Algunos módulos upstream no son compatibles con ROCm porque envuelven bibliotecas exclusivas de CUDA u otros componentes específicos de CUDA. Otras operaciones, como flashinfer.topk y la actualización selectiva de estado en flashinfer.mamba, no tienen una implementación para ROCm.
Compilación y construcción
La configuración admitida usa ROCm 10.1.0, PyTorch 2.12.0, Python 3.12, Ubuntu 24.04 y amd-aiter 0.1.21.post2, compilado desde el código fuente. Para esta versión no se publica ningún paquete wheel ni ninguna imagen precompilada, por lo que FlashInfer en ROCm debe compilarse desde el repositorio.
Algunas operaciones de atención, de anexado a la caché y de mezcla de expertos fusionada pueden compilarse con torch.compile si se activa la opción de operaciones personalizadas antes de importar FlashInfer. AMD advierte que PyTorch 2.12 puede compilar silenciosamente de forma incorrecta una operación que escribe en una vista de un tensor más grande, y especifica que, para append_paged_kv_cache, las cachés de claves y valores deben asignarse por separado.
Fuentes
- Fuente original · Entrada de blog AMD ROCm Blogs rocm.blogs.amd.com
Empresas en esta noticia
Noticias relacionadas
- vLLM detalla los MonoKernels optativos de FlyDSL para acelerar la decodificación en GPU de AMD
- OpenAI dice que sus modelos mejoraron hasta un 14 % los diseños de GPU de AMD
- Unsloth Desktop añade inferencia local en las NPU AMD XDNA 2 de los PC Ryzen AI
- AMD publica Nitro-P para generar imágenes en el espacio de píxeles
- Supermicro comienza a distribuir servidores de almacenamiento todo flash PCIe Gen 6 para IA