Aller au contenu
AI.info

Recherche

Des critiques mécanistes pour explorer efficacement l’espace de conception des NPU avec peu d’échantillons

L’exploration de l’espace de conception des NPU pour l’inférence des LLM repose principalement sur un simulateur coûteux, qui ne renvoie souvent qu’un retour scalaire, comme la latence et la…

arXiv
2611.24733
Publié
2026-11-18
Auteurs
Yicheng He, Yuqi Xue, Tianyang Wu, Jian Huang, Bin Hu

Résumé des auteurs

L’exploration de l’espace de conception des NPU pour l’inférence des LLM repose principalement sur un simulateur coûteux, qui ne renvoie souvent qu’un retour scalaire, comme la latence et la consommation électrique. Ce retour permet de classer les configurations évaluées, mais fournit peu d’éléments pour déterminer pourquoi une configuration est lente ou quel paramètre architectural modifier ensuite. Cette limite est particulièrement importante, car les charges de travail de préremplissage et de décodage peuvent être limitées par des ressources différentes, notamment le débit de calcul et la bande passante HBM. Nous proposons CriticNPU, un cadre d’exploration de l’espace de conception économe en échantillons, fondé sur une critique mécaniste calibrée en ligne pour la conception de l’architecture des NPU. Cette critique s’appuie sur des limites matérielles explicites pour évaluer les configurations de NPU : avant la simulation, elle estime si une configuration proposée est susceptible de faire mieux que la meilleure configuration actuelle et écarte les candidats peu prometteurs ; après la simulation, elle agrège les temps d’exécution au niveau des opérateurs pour établir des synthèses des goulots d’étranglement du préremplissage et du décodage, puis prédit l’effet des modifications possibles des paramètres. Nous instancions cette critique à l’aide d’un modèle de type Roofline qui déduit les limites de calcul et de mémoire à partir des paramètres de l’architecture et calibre les limites effectives propres à chaque type d’opérateur à partir des observations du simulateur. CriticNPU associe également cette critique à un extracteur de charges de travail et à un planificateur d’architecture pour proposer des configurations. Sur six charges de travail de LLM et 16 configurations de déploiement par modèle, CriticNPU obtient la meilleure latence, ou une latence ex æquo avec la meilleure, dans 74 % des cas en préremplissage et 87,5 % des cas en décodage, tout en nécessitant environ deux fois moins d’appels au simulateur que les méthodes de référence concurrentes d’exploration de l’espace de conception. Nous menons de nombreuses études d’ablation et des analyses détaillées afin de valider l’efficacité de notre méthode sous plusieurs angles. Notre code est disponible à l’adresse https://github.com/bruno686/CriticNPU.

Le résumé de cet article n’existe qu’en anglais : le lire sur la page en anglais.

Lire l’article original sur arXiv