EdgeKernelBench: generazione unificata di kernel guidata da LLM per backend edge

Abstract degli autori

Studi recenti mostrano che gli LLM possono generare kernel con prestazioni elevate sulle GPU dei server. L’impiego in ambito edge presenta sfide diverse: l’hardware è eterogeneo, gli stack software sono frammentati e le risorse disponibili sono limitate. La generazione di kernel mediante LLM per diversi backend edge non è ancora stata studiata in modo sistematico. Presentiamo EdgeKernelBench, che combina un framework unificato per il deployment tramite IR con un benchmark gerarchico per i carichi di lavoro edge. L’IR unificata raccoglie decisioni riutilizzabili relative al calcolo, alla schedulazione e alla memoria e si collega a ciascun backend di destinazione tramite un’interfaccia di compilazione. Il benchmark copre ambiti di programma di dimensioni progressivamente maggiori, dai singoli operatori ai grafi compatti di modelli, in settori applicativi edge rappresentativi. Realizziamo questo progetto usando TVM come compilatore di riferimento e lo convalidiamo su backend edge eterogenei. Con un solo tentativo di generazione, il modello migliore raggiunge il 64,5% di Correct@1, ma solo il 25,5% di Fast@1.0. Questo divario mostra che la correttezza funzionale non si traduce sistematicamente in miglioramenti delle prestazioni. Introduciamo quindi Layered Edge Kernel Agent (LEKA), che organizza l’ottimizzazione attraverso un’IR a livelli. Sul sottoinsieme di valutazione dell’agente, LEKA raggiunge il 43,5% di Fast@1.0, contro il 13,0% della generazione diretta e il 26,1% di Claude Code. LEKA e Claude Code utilizzano lo stesso modello di base e lo stesso budget di ottimizzazione. Insieme, EdgeKernelBench e LEKA consentono di valutare in modo unificato e ottimizzare per livelli i kernel generati dagli LLM per diversi backend edge.