Vai al contenuto
AI.info

Ricerca

Critici meccanicistici per un’esplorazione efficiente in termini di campioni dello spazio di progettazione delle NPU

L’esplorazione dello spazio di progettazione delle NPU per l’inferenza degli LLM si affida principalmente a un simulatore costoso, che spesso restituisce solo feedback scalari, come latenza e potenza.

arXiv
2611.24733
Pubblicato
2026-11-18
Autori
Yicheng He, Yuqi Xue, Tianyang Wu, Jian Huang, Bin Hu

Abstract degli autori

L’esplorazione dello spazio di progettazione delle NPU per l’inferenza degli LLM si affida principalmente a un simulatore costoso, che spesso restituisce solo feedback scalari, come latenza e potenza. Questo feedback può servire a classificare le configurazioni valutate, ma offre poche indicazioni per capire perché una configurazione sia lenta o quale parametro architetturale andrebbe modificato. Il limite è particolarmente marcato perché i carichi di lavoro di prefill e decode possono essere limitati da risorse diverse, tra cui la capacità di calcolo e la larghezza di banda HBM. Proponiamo CriticNPU, un framework DSE efficiente in termini di campioni, basato su un critico meccanicistico calibrato online per la progettazione dell’architettura delle NPU. Il critico usa limiti hardware espliciti per valutare le configurazioni delle NPU: prima della simulazione, stima se una configurazione proposta possa probabilmente migliorare quella attualmente migliore e filtra i candidati poco promettenti; dopo la simulazione, aggrega i tempi di esecuzione a livello di operatore in riepiloghi dei colli di bottiglia per prefill e decode e prevede l’effetto delle modifiche candidate ai parametri. Implementiamo il critico con un modello in stile Roofline, che ricava i limiti di calcolo e di memoria dai parametri dell’architettura e calibra i limiti effettivi per tipo di operatore usando le osservazioni del simulatore. CriticNPU combina questo critico con un estrattore dei carichi di lavoro e un pianificatore dell’architettura per proporre configurazioni. Su sei carichi di lavoro LLM e 16 configurazioni di deployment per modello, CriticNPU ottiene la latenza migliore o a pari merito con la migliore nel 74% delle configurazioni di prefill e nell’87,5% di quelle di decode, usando circa la metà delle chiamate al simulatore rispetto a baseline DSE competitive. Conduciamo studi di ablazione approfonditi e analisi dettagliate per convalidare l’efficacia del nostro metodo da molteplici prospettive. Il nostro codice è disponibile all’indirizzo https://github.com/bruno686/CriticNPU.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv