The Pulse
FlashInfer auf ROCm routet AMD-GPU-Kernels automatisch
Das FlashInfer-Release wählt bei unterstützten Attention-Aufrufen zwischen AMDs AITER-Bibliothek und im Quellbaum integrierten HIP-Kernels aus. Außerdem bringt es FP8-Prefill, fusionierte Mixture-of-Experts-Operationen und weitere Funktionen, muss jedoch aus dem Quellcode erstellt werden.

FlashInfer auf ROCm wählt bei unterstützten Attention-Aufrufen nun zwischen AMDs AITER-Bibliothek und im Quellbaum integrierten HIP-Kernels aus; standardmäßig kommt dabei ein automatisches Backend zum Einsatz. Das Release, das in einem Blogbeitrag von AMD am 20. November vorgestellt wurde, bringt außerdem FP8-Prefill, fusionierte Mixture-of-Experts-Operationen und AITER-Decode unter CUDA-Graph-Capture.
FlashInfer ist eine Open-Source-Bibliothek mit Kernels für Attention und das Serving großer Sprachmodelle. Das ROCm-Release unterstützt AMD-Instinct-GPUs MI300X, MI325X, MI350X und MI355X. Die Wrapper für Decode, Prefill und Multi-Head-Latent-Attention (MLA) behalten die Signaturen und die Reihenfolge der Argumente von FlashInfer v0.6.18 aus dem Upstream bei.
So funktioniert das Routing
Für Single-, Batch-Paged- und Batch-Ragged-Prefill sowie Batch-Decode gibt es sowohl AITER- als auch im Quellbaum integrierte HIP-Backends. Bei Attention-Aufrufen prüft die automatische Einstellung zunächst, ob AITER die Datentypen, das Layout des Key-Value-Caches, die Masken und die Head-Dimensionen verarbeiten kann, und wendet anschließend architekturspezifische Routing-Regeln an.
AMD zufolge beruhen diese Regeln auf Tests und Benchmarks des Unternehmens auf CDNA3- und CDNA4-GPUs. Der im Quellbaum integrierte Pfad übernimmt Aufrufe, die AITER nicht verarbeiten kann, darunter das Auslesen eines FP8-Key-Value-Caches mit einer 16-Bit-Abfrage sowie Batch-Decode mit Tensor Cores.
MLA und fusionierte Mixture-of-Experts-Operationen verwenden ausschließlich AITER. Normalisierung, Aktivierung, Rotary-Position-Embedding und das Anhängen an den Key-Value-Cache verwenden standardmäßig im Quellbaum integrierte Kernels; für einige Einstiegspunkte ist AITER optional verfügbar.
Nach der Planung eines Batch-Prefill- oder Batch-Decode-Aufrufs meldet der Wrapper das ausgewählte Backend und bei den meisten Ablehnungen durch AITER auch den Grund für den Fallback. AITER-Attention-Kernels werden aus dem C++-Code von FlashInfer gestartet; MLA ist eine Ausnahme und führt AITER über Python aus.
Neue Operationen und Einschränkungen
Das Release bringt außerdem Cascade-Attention-, MLA- und eigenständige Rotary-Position-Embedding-Operationen mit, die im vorherigen Prefill-Attention-Release noch in Arbeit waren. POD-Attention überlappt Prefill und Decode in einem Kernel.
Die fusionierte Mixture-of-Experts-Operation unterstützt bf16 und fp16 sowie FP8-Expertengewichte. Jedes Expertengewicht muss zunächst vorab umgeordnet werden; bei FP8-Gewichten geschieht dies nach der Quantisierung.
Die im Quellbaum integrierten FP8-Key-Value-Cache-Kernels verwenden auf beiden unterstützten Architekturen FNUZ-Kodierungen und akzeptieren keine OCP-Kodierungen. Auf gfx950 kann ein Cache, der für AITER-FP8-Prefill im Format float8_e4m3fn geschrieben wurde, nicht auch von Decode gelesen werden: Das im Quellbaum integrierte Decode weist diese Kodierung zurück, während AITER-Decode nur 16-Bit-Key-Value-Caches akzeptiert.
Einige Upstream-Module werden auf ROCm nicht unterstützt, weil sie ausschließlich mit CUDA kompatible Bibliotheken oder andere CUDA-spezifische Komponenten einbinden. Für andere Operationen, darunter flashinfer.topk und die selektive Zustandsaktualisierung in flashinfer.mamba, gibt es keine ROCm-Implementierung.
Erstellen und Kompilieren
Die unterstützte Konfiguration verwendet ROCm 10.1.0, PyTorch 2.12.0, Python 3.12, Ubuntu 24.04 und amd-aiter 0.1.21.post2, das aus dem Quellcode erstellt wurde. Für das Release wird weder ein Wheel noch ein vorgefertigtes Image veröffentlicht; FlashInfer auf ROCm muss daher aus dem Repository erstellt werden.
Ausgewählte Attention-, Cache-Append- und fusionierte Mixture-of-Experts-Operationen lassen sich mit torch.compile kompilieren, wenn das Flag für benutzerdefinierte Operationen vor dem Import von FlashInfer gesetzt wird. AMD warnt, dass PyTorch 2.12 eine Operation, die in eine Ansicht eines größeren Tensors schreibt, unbemerkt falsch kompilieren kann, und schreibt für append_paged_kv_cache separat zugewiesene Key- und Value-Caches vor.
Quellen
- Originalquelle · Blogbeitrag AMD ROCm Blogs rocm.blogs.amd.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- vLLM erläutert optionale FlyDSL-MonoKernels für schnelleres Decoding auf AMD-GPUs
- OpenAI sagt, seine Modelle hätten AMD-GPU-Designs um bis zu 14 % verbessert
- Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs
- AMD veröffentlicht Nitro-P zur Bildgenerierung im Pixelraum
- Google erklärt, wie sich KI-Chatverläufe zu Gemini übertragen lassen