Ir al contenido
AI.info

Investigación

Críticos mecanísticos para la exploración eficiente en muestras del espacio de diseño de NPU

La exploración del espacio de diseño de NPU para la inferencia de LLM se basa principalmente en un simulador costoso que a menudo solo devuelve información escalar, como la latencia y la potencia.

arXiv
2611.24733
Publicado
2026-11-18
Autores
Yicheng He, Yuqi Xue, Tianyang Wu, Jian Huang, Bin Hu

Resumen de los autores

La exploración del espacio de diseño de NPU para la inferencia de LLM se basa principalmente en un simulador costoso que a menudo solo devuelve información escalar, como la latencia y la potencia. Esa información permite ordenar las configuraciones evaluadas, pero aporta pocos datos para determinar por qué una configuración es lenta o qué parámetro de la arquitectura conviene modificar a continuación. Esta limitación es especialmente grave porque las cargas de trabajo de prefill y decode pueden estar limitadas por distintos recursos, como el rendimiento de cómputo y el ancho de banda de HBM. Proponemos CriticNPU, un marco de DSE eficiente en muestras, basado en un crítico mecanístico calibrado en línea para el diseño de arquitecturas de NPU. El crítico utiliza límites de hardware explícitos para evaluar las configuraciones de NPU: antes de la simulación, estima si es probable que una configuración propuesta mejore el mejor resultado actual y descarta los candidatos poco prometedores; después de la simulación, agrega los tiempos de ejecución a nivel de operador en resúmenes de los cuellos de botella de prefill y decode, y predice el efecto de los cambios propuestos en los parámetros. Implementamos el crítico con un modelo de tipo Roofline que deriva los límites de cómputo y memoria a partir de los parámetros de la arquitectura y calibra los límites efectivos por tipo de operador usando las observaciones del simulador. Además, CriticNPU combina este crítico con un extractor de cargas de trabajo y un planificador de arquitectura para proponer configuraciones. En seis cargas de trabajo de LLM y 16 configuraciones de despliegue por modelo, CriticNPU logra la latencia más baja, o empatada en el mínimo, en el 74 % de las configuraciones de prefill y el 87,5 % de las de decode, usando aproximadamente la mitad de las llamadas al simulador que los métodos de referencia de DSE competitivos. Realizamos extensos estudios de ablación y análisis detallados para validar la eficacia de nuestro método desde múltiples perspectivas. Nuestro código está disponible en https://github.com/bruno686/CriticNPU.

El resumen de este paper solo está disponible en inglés: léelo en la página en inglés.

Leer el paper original en arXiv