Aller au contenu
AI.info

The Pulse

FlashInfer sur ROCm achemine automatiquement les noyaux GPU d’AMD

La version de FlashInfer choisit entre la bibliothèque AITER d’AMD et les noyaux HIP intégrés au code source pour les appels d’attention pris en charge. Elle ajoute également le préremplissage FP8, des opérations fusionnées de mélange d’experts et d’autres fonctionnalités, mais doit être compilée à partir du code source.

FlashInfer sur ROCm achemine automatiquement les noyaux GPU d’AMD

FlashInfer sur ROCm choisit désormais entre la bibliothèque AITER d’AMD et les noyaux HIP intégrés au code source pour les appels d’attention pris en charge, en utilisant un backend automatique par défaut. La version, présentée dans un billet de blog d’AMD le 20 novembre, ajoute également le préremplissage FP8, des opérations fusionnées de mélange d’experts et le décodage AITER sous capture de graphe CUDA.

FlashInfer est une bibliothèque open source de noyaux d’attention et de service de grands modèles de langage. La version ROCm prend en charge les GPU AMD Instinct MI300X, MI325X, MI350X et MI355X. Ses wrappers de décodage, de préremplissage et d’attention latente multi-têtes (MLA) conservent les signatures et l’ordre des arguments de la version amont FlashInfer v0.6.18.

Fonctionnement de l’acheminement

Le préremplissage simple, le préremplissage par lots paginé et par lots à structure irrégulière, ainsi que le décodage par lots, disposent tous de backends AITER et HIP intégrés au code source. Pour les appels d’attention, le réglage automatique vérifie d’abord si AITER peut gérer les types de données, la disposition du cache clé-valeur, les masques et les dimensions des têtes, puis applique des règles d’acheminement propres à chaque architecture.

AMD indique que ces règles reposent sur ses tests et benchmarks sur les GPU CDNA3 et CDNA4. Le chemin intégré au code source prend en charge les appels qu’AITER ne peut pas traiter, notamment la lecture d’un cache clé-valeur FP8 par une requête 16 bits et le décodage par lots utilisant des cœurs tensoriels.

Les opérations MLA et de mélange d’experts fusionné utilisent uniquement AITER. Les opérations de normalisation, d’activation, d’intégration rotative de position et d’ajout au cache clé-valeur utilisent par défaut les noyaux intégrés au code source, AITER étant proposé en option pour certains points d’entrée.

Après avoir planifié un appel de préremplissage ou de décodage par lots, le wrapper indique le backend sélectionné et, dans la plupart des cas où AITER décline, la raison du recours à l’autre backend. Les noyaux d’attention AITER sont lancés depuis le code C++ de FlashInfer ; MLA fait exception et exécute AITER via Python.

Nouvelles opérations et limites

La version ajoute également l’attention en cascade, MLA et les opérations autonomes d’intégration rotative de position, qui étaient en cours de développement dans la version précédente consacrée à l’attention en préremplissage. POD-Attention superpose le préremplissage et le décodage dans un seul noyau.

L’opération fusionnée de mélange d’experts prend en charge bf16 et fp16, ainsi que les poids d’experts FP8. Chaque poids d’expert doit d’abord être pré-réorganisé, après quantification pour les poids FP8.

Les noyaux intégrés au code source pour les caches clé-valeur FP8 utilisent des encodages FNUZ sur les deux architectures prises en charge et refusent les encodages OCP. Sur gfx950, un cache écrit en float8_e4m3fn pour le préremplissage FP8 d’AITER ne peut pas également être lu par le décodage : le décodage intégré au code source rejette cet encodage, tandis que le décodage AITER n’accepte que les caches clé-valeur 16 bits.

Certains modules amont ne sont pas pris en charge sur ROCm, car ils encapsulent des bibliothèques exclusivement CUDA ou d’autres composants spécifiques à CUDA. D’autres opérations, dont flashinfer.topk et la mise à jour sélective de l’état dans flashinfer.mamba, ne disposent pas d’implémentation ROCm.

Construction et compilation

La configuration prise en charge utilise ROCm 10.1.0, PyTorch 2.12.0, Python 3.12, Ubuntu 24.04 et amd-aiter 0.1.21.post2, compilé à partir du code source. Aucun wheel ni aucune image précompilée n’est publié pour cette version ; FlashInfer sur ROCm doit donc être compilé à partir du dépôt.

Les opérations sélectionnées d’attention, d’ajout au cache et de mélange d’experts fusionné peuvent être compilées avec torch.compile lorsque l’option custom-operations est activée avant l’importation de FlashInfer. AMD avertit que PyTorch 2.12 peut compiler silencieusement de manière incorrecte une opération qui écrit dans une vue d’un tenseur plus grand, et précise que append_paged_kv_cache nécessite des caches clé et valeur alloués séparément.

Sources

  1. Source originale · Billet de blog AMD ROCm Blogs rocm.blogs.amd.com

Entreprises citées

Articles liés

Explorer

Autres articles