The Pulse
vLLM détaille les MonoKernels FlyDSL activables sur option pour accélérer le décodage sur GPU AMD
Un billet de vLLM explique comment la voie MonoKernel, activable sur option, combine des opérations du modèle sur les GPU AMD Instinct et dans quels cas elle revient à l’exécution standard. Pour DeepSeek-V4.1-Flash, il fait état d’une hausse de l’interactivité P90 à concurrence 1, de 318,1 à 429,1 tokens par seconde et par utilisateur.

L’activation d’une voie spécialisée de noyaux vLLM a fait passer l’interactivité P90 à concurrence 1 de DeepSeek-V4.1-Flash de 318,1 à 429,1 tokens par seconde et par utilisateur sur un nœud AMD MI355X, a indiqué le projet vLLM dans un billet du 18 novembre. Celui-ci décrit comment ses MonoKernels FlyDSL, activables sur option, combinent des parties de l’exécution du modèle afin de réduire le délai entre les tokens générés sur les GPU AMD Instinct.
La comparaison a été effectuée sur le même nœud, avec un degré de parallélisme tensoriel de deux et vLLM standard comme référence. Sur l’ensemble de la plage de concurrence testée, le billet fait état d’un débit total compris entre 1,04 et 1,16 fois celui de la version standard ; il décrit l’interactivité du décodage, et non la vitesse d’exécution d’une tâche d’agent dans son ensemble.
Combiner des opérations au sein d’un lancement
La génération d’une réponse fait intervenir une chaîne de noyaux GPU pour des opérations telles que l’attention et le calcul des experts. Avec de petites tailles de lots, les noyaux peuvent effectuer peu de travail tout en entraînant des coûts de démarrage et de fin d’exécution. Selon le billet, ces coûts peuvent représenter une part importante de la latence de décodage, même lorsque les graphes HIP réduisent la surcharge des lancements côté CPU.
Un MonoKernel combine des étapes dépendantes au sein d’un seul lancement de noyau GPU, selon un ordonnancement conçu par son auteur. Un modèle peut utiliser plusieurs noyaux de ce type ; le nom ne signifie pas que le modèle entier s’exécute dans un seul noyau.
Les blocs de threads peuvent passer aux étapes suivantes dès que les entrées dont ils ont besoin sont disponibles.
Des frontières différentes selon les modèles
La première implémentation de DeepSeek-V4.1-Flash répartit le chemin standard de sa couche de décodeur entre des noyaux nommés K1 et K2. K1 prépare les entrées de l’attention et met à jour le cache clé-valeur ; K2 achève l’attention et les opérations de feed-forward, y compris les réductions liées au parallélisme tensoriel, effectuées dans le noyau. Ces réductions internes au noyau ne suppriment pas la communication ni la synchronisation entre les rangs.
Dans la première implémentation de MiniMax-M3, la frontière de fusion est plus restreinte : elle couvre la partie feed-forward et les communications qui l’entourent, tandis que l’attention reste sur le chemin standard. Le choix dépend des dépendances du modèle, de son schéma de communication et des limites de ressources du GPU.
FlyDSL est le langage Python spécifique à un domaine d’AMD et son compilateur MLIR pour les noyaux ROCm. Les auteurs des noyaux choisissent l’ordonnancement et la synchronisation ; FlyDSL compile cette conception, sans fusionner ni réordonner automatiquement les étapes.
Exécution sur option et tests
La voie est désactivée par défaut et peut être activée avec --monokernel. Les déploiements non pris en charge échouent au démarrage, les raisons étant indiquées. Le préremplissage, les lots mixtes et les étapes trop larges pour les noyaux spécialisés utilisent les couches standard à la place, tandis que les étapes de vérification spéculative admissibles peuvent emprunter la voie MonoKernel.
Le planificateur, le gestionnaire de cache, l’échantillonnage, le décodage spéculatif et les graphes HIP restent en place. Les noyaux utilisent les poids et le cache chargés par vLLM et renvoient les mêmes tenseurs à la frontière de la couche, ce qui permet de mélanger des couches spécialisées et standard au cours d’une étape.
Sources
- Source originale vLLM Blog vllm-project.github.io
Articles liés
- Unsloth Desktop ajoute l’inférence locale sur les NPU AMD XDNA 2 des PC Ryzen AI
- Google Cloud détaille l’extraction de métadonnées par l’IA pour les objets de stockage
- NVIDIA détaille les outils Dynamo pour les séquences de génération en apprentissage par renforcement
- Aikido étend ses tests d’intrusion par l’IA aux applications iOS
- DMM et Algomatic Dynamics lancent un routeur pour 60 modèles d’IA ou plus