Ir al contenido
AI.info

The Pulse

vLLM detalla los MonoKernels optativos de FlyDSL para acelerar la decodificación en GPU de AMD

Una publicación de vLLM explica cómo la ruta optativa de MonoKernel combina operaciones del modelo en GPU AMD Instinct y en qué casos recurre a la ejecución estándar. Para DeepSeek-V4.1-Flash, indica que la interactividad P90 con concurrencia 1 subió de 318,1 a 429,1 tokens por segundo por usuario.

vLLM detalla los MonoKernels optativos de FlyDSL para acelerar la decodificación en GPU de AMD

Activar una ruta especializada de kernels de vLLM elevó la interactividad P90 con concurrencia 1 de DeepSeek-V4.1-Flash de 318,1 a 429,1 tokens por segundo por usuario en un nodo AMD MI355X, según indicó el proyecto vLLM en una publicación del 18 de noviembre. La publicación explicó cómo sus MonoKernels optativos de FlyDSL combinan partes de la ejecución del modelo para reducir la demora entre los tokens generados en GPU AMD Instinct.

La comparación se realizó en el mismo nodo, con un tamaño de paralelismo tensorial de dos y vLLM estándar como referencia. En todo el barrido de concurrencia, la publicación indica que el rendimiento total fue entre 1,04 y 1,16 veces la cifra de vLLM estándar; describe la interactividad durante la decodificación, no la velocidad de una tarea completa de agente.

Combinar trabajo en un lanzamiento

Generar una respuesta implica una cadena de kernels de GPU para operaciones como la atención y el cálculo de expertos. Con tamaños de lote pequeños, cada kernel puede realizar poco trabajo y, aun así, incurrir en costes de inicio y finalización. La publicación señala que esos costes pueden representar una parte considerable de la latencia de decodificación, incluso cuando los gráficos HIP reducen la sobrecarga de lanzamiento de la CPU.

Un MonoKernel combina etapas dependientes en un único lanzamiento de kernel de GPU, con una planificación diseñada por su autor. Un modelo puede usar varios kernels de este tipo; el nombre no significa que todo el modelo se ejecute en un solo kernel.

Los bloques de hilos pueden pasar a las etapas siguientes cuando están listos los datos de entrada que necesitan.

Límites distintos para modelos distintos

La implementación inicial de DeepSeek-V4.1-Flash divide la ruta estándar de la capa del decodificador entre los kernels K1 y K2. K1 prepara las entradas de atención y actualiza la caché de clave-valor; K2 completa la atención y el cálculo feed-forward, incluidas las reducciones de paralelismo tensorial dentro del kernel. Esas reducciones dentro del kernel no eliminan la comunicación ni la sincronización entre rangos.

En la implementación inicial de MiniMax-M3, el límite de fusión es más estrecho: abarca la parte feed-forward y la comunicación circundante, mientras que la atención sigue la ruta estándar. La elección depende de las dependencias del modelo, el patrón de comunicación y los límites de recursos de la GPU.

FlyDSL es el lenguaje específico de dominio de Python y el compilador MLIR de AMD para kernels de ROCm. Los autores de kernels eligen la planificación y la sincronización; FlyDSL compila ese diseño, en lugar de fusionar o reordenar las etapas automáticamente.

Ejecución optativa y pruebas

La ruta está desactivada de forma predeterminada y se puede activar con --monokernel. Los despliegues no compatibles fallan al iniciarse y muestran los motivos. El prellenado, los lotes mixtos y los pasos demasiado amplios para los kernels especializados usan capas estándar; en cambio, los pasos aptos de verificación especulativa pueden usar la ruta mono.

El planificador, el gestor de caché, el muestreo, la decodificación especulativa y los gráficos HIP se mantienen. Los kernels usan los pesos y la caché cargados por vLLM y devuelven los mismos tensores en el límite de la capa, lo que permite combinar capas especializadas y estándar dentro de un paso.

Fuentes

  1. Fuente original vLLM Blog vllm-project.github.io

Noticias relacionadas

Explora

Más artículos