MetaKernelBench: misurare il trasferimento delle conoscenze sui kernel GPU oltre il codice

Abstract degli autori

I recenti agenti per l’ottimizzazione dei kernel GPU conservano ciò che apprendono in basi di conoscenza o sotto forma di competenze distillate. I benchmark per i kernel valutano la correttezza e la velocità dell’implementazione prodotta a ogni tentativo, ma non misurano quanto sia utile riutilizzare l’esperienza conservata. Presentiamo MetaKernelBench, che misura se l’esperienza distillata da un tentativo in un linguaggio specifico di dominio (DSL) per kernel migliora un nuovo tentativo sullo stesso problema in un altro DSL. I suoi 74 problemi sono sottografi fusi appartenenti a sei famiglie, ciascuno proposto in due varianti, CuTe DSL e TIRx, che differiscono solo per il DSL. L’agente affronta dapprima ogni variante senza aiuti e riceve l’istruzione di distillare ciò che apprende in una competenza espressa in linguaggio naturale, che viene trasferita indipendentemente dal superamento della verifica da parte del tentativo di partenza. Tale competenza è l’unico input aggiuntivo fornito allo stesso modello per un tentativo condizionato da essa nell’altro DSL. Confrontiamo ogni tentativo condizionato dalla competenza con il tentativo senza aiuti sulla stessa variante, a parità di risorse assegnate a ciascun tentativo, valutando correttezza e tempo di esecuzione complessivo. Per sei modelli e in entrambe le direzioni, il miglioramento nei confronti appaiati rispetto ai tentativi senza aiuti varia dal -19% al +29%. Quattro modelli migliorano in entrambe le direzioni, ma per ogni modello e in ciascuna direzione si registrano regressioni nel 16%-45% dei problemi. Gli esiti dipendono dal risultato del tentativo di partenza rispetto a quello del tentativo senza aiuti nella variante di destinazione, più che dal solo successo del tentativo di partenza: si osserva un miglioramento nel 71% dei confronti quando il risultato di partenza è superiore e una regressione nel 54% quando è inferiore. MetaKernelBench integra le metriche sulla qualità delle implementazioni misurando il trasferimento delle conoscenze sui kernel tra DSL diversi per lo stesso problema.