Zum Inhalt springen
AI.info

The Pulse

vLLM erläutert optionale FlyDSL-MonoKernels für schnelleres Decoding auf AMD-GPUs

Ein vLLM-Beitrag erklärt, wie der optionale MonoKernel-Pfad Modelloperationen auf AMD-Instinct-GPUs zusammenfasst und wann auf die Standardausführung zurückgegriffen wird. Für DeepSeek-V4.1-Flash meldet er bei Concurrency 1 einen Anstieg der P90-Interaktivität von 318,1 auf 429,1 Tokens pro Sekunde und Nutzer.

vLLM erläutert optionale FlyDSL-MonoKernels für schnelleres Decoding auf AMD-GPUs

Die Aktivierung eines spezialisierten vLLM-Kernelpfads steigerte die P90-Interaktivität von DeepSeek-V4.1-Flash bei Concurrency 1 auf einem AMD-MI355X-Knoten von 318,1 auf 429,1 Tokens pro Sekunde und Nutzer, teilte das vLLM-Projekt in einem Beitrag vom 18. November mit. Der Beitrag beschrieb, wie die optionalen FlyDSL-MonoKernels Teile der Modellausführung zusammenfassen, um die Verzögerung zwischen generierten Tokens auf AMD-Instinct-GPUs zu verringern.

Der Vergleich wurde auf demselben Knoten mit einer Tensor-Parallelgröße von zwei durchgeführt; als Ausgangswert diente Standard-vLLM. Über die verschiedenen Concurrency-Stufen hinweg lag der Gesamtdurchsatz dem Beitrag zufolge beim 1,04- bis 1,16-Fachen des Werts mit Standard-vLLM; beschrieben wird die Decode-Interaktivität, nicht die Geschwindigkeit einer gesamten Agentenaufgabe.

Arbeit innerhalb eines Kernelstarts zusammenfassen

Die Generierung einer Antwort umfasst eine Abfolge von GPU-Kernels für Operationen wie Attention und Expertenberechnungen. Bei kleinen Batchgrößen erledigen einzelne Kernel möglicherweise nur wenig Arbeit, verursachen aber dennoch Anlauf- und Abschlusskosten. Diese Kosten können laut dem Beitrag einen erheblichen Teil der Decode-Latenz ausmachen, selbst wenn HIP-Graphs den CPU-Aufwand für Kernelstarts reduzieren.

Ein MonoKernel fasst voneinander abhängige Stufen innerhalb eines einzelnen GPU-Kernelstarts zusammen; den Ablaufplan entwirft der jeweilige Entwickler. Ein Modell kann mehrere solcher Kernel verwenden; der Name bedeutet nicht, dass das gesamte Modell in einem Kernel ausgeführt wird.

Thread-Blöcke können mit nachfolgenden Stufen fortfahren, sobald die dafür benötigten Eingaben bereitstehen.

Unterschiedliche Grenzen für unterschiedliche Modelle

Die erste Implementierung für DeepSeek-V4.1-Flash teilt den standardmäßigen Decoder-Layer-Pfad auf zwei Kernel namens K1 und K2 auf. K1 bereitet die Attention-Eingaben vor und aktualisiert den Key-Value-Cache; K2 schließt die Attention und die Feed-forward-Berechnungen ab, einschließlich Tensor-Parallel-Reduktionen innerhalb des Kernels. Diese Reduktionen innerhalb des Kernels machen die Kommunikation oder Synchronisierung zwischen den Ranks nicht überflüssig.

In der ersten Implementierung für MiniMax-M3 ist die Fusionsgrenze enger: Sie umfasst den Feed-forward-Anteil und die damit verbundene Kommunikation, während die Attention dem Standardpfad folgt. Die Wahl hängt von den Abhängigkeiten eines Modells, seinem Kommunikationsmuster und den GPU-Ressourcenlimits ab.

FlyDSL ist AMDs Python-domänenspezifische Sprache und MLIR-Compiler für ROCm-Kernels. Die Kernel-Entwickler legen Ablaufplan und Synchronisierung fest; FlyDSL kompiliert diesen Entwurf, statt die Stufen automatisch zusammenzuführen oder neu anzuordnen.

Optionale Ausführung und Tests

Der Pfad ist standardmäßig deaktiviert und lässt sich mit --monokernel aktivieren. Nicht unterstützte Deployments brechen beim Start ab; die Gründe dafür werden aufgeführt. Prefill, gemischte Batches und Schritte, die für die spezialisierten Kernel zu breit sind, verwenden stattdessen Standard-Layer; geeignete spekulative Verifikationsschritte können den Mono-Pfad nutzen.

Scheduler, Cache-Manager, Sampling, spekulatives Decoding und HIP-Graphs bleiben bestehen. Die Kernel verwenden die von vLLM geladenen Gewichte und den Cache und geben an der Layer-Grenze dieselben Tensoren zurück. Dadurch lassen sich innerhalb eines Schritts spezialisierte und standardmäßige Layer kombinieren.

Quellen

  1. Originalquelle vLLM Blog vllm-project.github.io

Verwandte Meldungen

Entdecken

Weitere Artikel