Generazione di codice RTL Pareto-ottimale tramite apprendimento per rinforzo multi-obiettivo con modelli linguistici di grandi dimensioni

Abstract degli autori

Studi recenti hanno proposto metodi di apprendimento per rinforzo con ricompense verificabili (RLVR), che consentono ai modelli linguistici di grandi dimensioni di generare circuiti RTL di alta qualità a partire da specifiche in linguaggio naturale. Gli approcci esistenti ottimizzano le prestazioni PPA dei circuiti (potenza, prestazioni e area) aggregando più obiettivi in un unico valore scalare, rendendo difficile generare simultaneamente soluzioni Pareto-ottimali diversificate, caratterizzate da diversi compromessi, per esempio tra basso consumo energetico, bassa latenza e dimensioni ridotte. Tuttavia, nella progettazione pratica, l’importanza relativa di ciascun obiettivo varia in base ai requisiti del prodotto e ai vincoli di progettazione; è quindi vantaggioso ottenere un insieme diversificato e di alta qualità di soluzioni candidate, in modo che i progettisti possano scegliere a posteriori il compromesso che preferiscono. In questo lavoro proponiamo per la prima volta un metodo di apprendimento per la generazione di circuiti basata su modelli linguistici di grandi dimensioni che ottimizza non la qualità di un singolo circuito, ma la qualità e la diversità dell’intero insieme di circuiti ottenuto attraverso generazioni multiple nello spazio degli obiettivi PPA. Il metodo proposto consiste in (1) una pipeline di addestramento basata sulla generazione, che riformula il miglioramento della copertura dell’intero insieme di soluzioni di Pareto come un problema di generazione sequenziale di circuiti, e (2) una funzione di ricompensa basata sul contributo all’ipervolume (HVC), che misura quanto un circuito generato contribuisca alla frontiera di Pareto. La valutazione sul benchmark RTLLM v2 mostra che il metodo proposto ottiene un incremento di 13,3 punti percentuali nell’ipervolume relativo rispetto a una baseline senza ottimizzazione PPA e di 14,4 punti percentuali rispetto a un metodo di apprendimento per rinforzo a obiettivo singolo, dimostrando inoltre una maggiore diversità dei circuiti.