Forschung
Mechanistische Kritiker für eine stichprobeneffiziente Exploration des NPU-Entwurfsraums
Die Design-Space-Exploration für die NPU-Architektur bei der LLM-Inferenz stützt sich hauptsächlich auf einen kostspieligen Simulator, der oft nur skalare Rückmeldungen wie Latenz und…
- arXiv
- 2611.24733
- Veröffentlicht
- 2026-11-18
- Autoren
- Yicheng He, Yuqi Xue, Tianyang Wu, Jian Huang, Bin Hu
Abstract der Autoren
Die Design-Space-Exploration für die NPU-Architektur bei der LLM-Inferenz stützt sich hauptsächlich auf einen kostspieligen Simulator, der oft nur skalare Rückmeldungen wie Latenz und Leistungsaufnahme liefert. Solche Rückmeldungen können bewertete Konfigurationen in eine Rangfolge bringen, liefern aber nur wenige Hinweise darauf, warum eine Konfiguration langsam ist oder welcher Architekturparameter als Nächstes geändert werden sollte. Diese Einschränkung wiegt besonders schwer, weil Prefill- und Decode-Workloads durch unterschiedliche Ressourcen begrenzt sein können, darunter Rechendurchsatz und HBM-Bandbreite. Wir schlagen CriticNPU vor, ein sample-effizientes DSE-Framework für den Entwurf von NPU-Architekturen, das auf einem online-kalibrierten mechanistischen Critic basiert. Der Critic nutzt explizite Hardwaregrenzen zur Bewertung von NPU-Konfigurationen: Vor der Simulation schätzt er ein, ob eine vorgeschlagene Konfiguration wahrscheinlich besser abschneiden wird als die derzeit beste, und filtert schwache Kandidaten heraus; nach der Simulation fasst er Laufzeiten auf Operator-Ebene zu Engpassübersichten für Prefill und Decode zusammen und sagt die Auswirkungen möglicher Parameteränderungen voraus. Wir setzen den Critic mithilfe eines Roofline-ähnlichen Modells um, das Rechen- und Speichergrenzen aus Architekturparametern ableitet und effektive Grenzen für die einzelnen Operatortypen anhand von Simulatorbeobachtungen kalibriert. CriticNPU kombiniert diesen Critic mit einem Workload-Extraktor und einem Architekturplaner, um Konfigurationen vorzuschlagen. Über sechs LLM-Workloads und 16 Bereitstellungskonfigurationen pro Modell hinweg erzielt CriticNPU in 74 % der Prefill- und 87,5 % der Decode-Einstellungen die beste oder eine gleich gute Latenz und benötigt dabei etwa halb so viele Simulatoraufrufe wie konkurrenzfähige DSE-Baselines. Wir führen umfangreiche Ablationsstudien und detaillierte Analysen durch, um die Wirksamkeit unserer Methode aus mehreren Perspektiven zu überprüfen. Unser Code ist unter https://github.com/bruno686/CriticNPU. verfügbar.
Die Zusammenfassung dieses Papers gibt es nur auf Englisch: auf der englischen Seite lesen.
Das Originalpaper auf arXiv lesen