Valutazione dell’ottimizzazione del codice con LLM basata su pattern: isolare il ragionamento semantico che trascende il compilatore

Abstract degli autori

Le valutazioni esistenti dell’ottimizzazione del codice basata su LLM misurano principalmente l’accelerazione complessiva, senza chiarire se un modello esegua davvero l’ottimizzazione prevista. Per i linguaggi compilati, questo è particolarmente problematico: i miglioramenti osservati possono dipendere da trasformazioni che i moderni compilatori ottimizzanti sono già in grado di effettuare, anziché da un’ottimizzazione attribuibile al modello stesso. Presentiamo PatternBench, un benchmark per studiare l’ottimizzazione che trascende il compilatore, ossia i miglioramenti delle prestazioni che persistono anche dopo un’ottimizzazione aggressiva da parte del compilatore. PatternBench prende in esame le opportunità residue di ottimizzazione in sette classi di trasformazioni e affianca alla valutazione dei tempi di esecuzione un’analisi della fedeltà all’ottimizzazione basata sull’AST, che verifica se l’ottimizzazione prevista sia stata realizzata nel programma generato. Gli esperimenti con modelli di frontiera, a pesi aperti e sottoposti a fine-tuning mostrano che la sola accelerazione nei tempi di esecuzione offre un quadro incompleto della capacità di ottimizzazione. La fedeltà all’ottimizzazione è fortemente associata all’accelerazione effettivamente ottenuta, e il fine-tuning migliora sia la fedeltà sia l’efficacia dell’ottimizzazione. Questi risultati suggeriscono che la valutazione dell’ottimizzazione del codice basata su LLM dovrebbe misurare non solo i risultati in termini di prestazioni, ma anche se la trasformazione prevista sia stata eseguita con successo.