Ir para o conteúdo
AI.info

Pesquisa

Críticos mecanísticos para exploração do espaço de projeto de NPU com eficiência amostral

A exploração do espaço de projeto de NPU para inferência de LLM depende principalmente de um simulador caro, que muitas vezes retorna apenas feedback escalar, como latência e consumo de energia.

arXiv
2611.24733
Publicado
2026-11-18
Autores
Yicheng He, Yuqi Xue, Tianyang Wu, Jian Huang, Bin Hu

Resumo dos autores

A exploração do espaço de projeto de NPU para inferência de LLM depende principalmente de um simulador caro, que muitas vezes retorna apenas feedback escalar, como latência e consumo de energia. Esse feedback pode classificar as configurações avaliadas, mas oferece poucas informações para decidir por que uma configuração é lenta ou qual parâmetro da arquitetura deve ser alterado em seguida. Essa limitação é especialmente grave porque as cargas de trabalho de prefill e decode podem ser limitadas por recursos diferentes, incluindo a taxa de processamento computacional e a largura de banda da HBM. Propomos o CriticNPU, um framework de DSE eficiente em termos de amostras, baseado em um crítico mecanístico calibrado on-line para o projeto de arquitetura de NPU. O crítico usa limites explícitos de hardware para avaliar configurações de NPU: antes da simulação, estima se uma configuração proposta provavelmente superará a melhor configuração atual e filtra candidatas fracas; depois da simulação, agrega os tempos de execução por operador em resumos dos gargalos de prefill e decode e prevê o efeito de possíveis alterações de parâmetros. Implementamos o crítico com um modelo no estilo Roofline, que deriva os limites computacionais e de memória dos parâmetros da arquitetura e calibra os limites efetivos por tipo de operador usando observações do simulador. E o CriticNPU combina esse crítico com um extrator de cargas de trabalho e um planejador de arquitetura para propor configurações. Em seis cargas de trabalho de LLM e 16 configurações de implantação por modelo, o CriticNPU alcança a menor latência, ou empata com ela, em 74% dos cenários de prefill e 87,5% dos cenários de decode, usando aproximadamente metade das chamadas ao simulador exigidas pelas linhas de base competitivas de DSE. Realizamos extensos estudos de ablação e análises detalhadas para validar a eficácia do nosso método sob múltiplas perspectivas. Nosso código está disponível em https://github.com/bruno686/CriticNPU.

O resumo deste paper está disponível apenas em inglês: leia na página em inglês.

Ler o paper original no arXiv