ENGINE: ottimizzazione variazionale multiscala endogena per il fine-tuning degli LLM con metodi di ordine zero

Abstract degli autori

L’ottimizzazione di ordine zero (ZO) consente di mettere a punto modelli linguistici di grandi dimensioni (LLM) con un uso efficiente della memoria; i metodi più recenti integrano strategie che tengono conto della curvatura. Tuttavia, nello spazio parametrico ad alta dimensionalità degli LLM, questi metodi soffrono intrinsecamente di una varianza del gradiente che esplode e di costi proibitivi. Al contrario, limitare gli aggiornamenti a un sottospazio a bassa dimensionalità riduce la varianza, ma scarta informazioni ad alta dimensionalità essenziali, peggiorando le prestazioni. Ne deriva un dilemma fondamentale: l’ottimizzazione nell’intero spazio è informativa, ma presenta un’elevata varianza, mentre l’ottimizzazione nel sottospazio ha una bassa varianza, ma comporta una perdita d’informazione. Per superare questo compromesso, proponiamo ENGINE (Endogenous Variational MultiScale). Ispirandoci alla meccanica computazionale, adattiamo la teoria statica Variational MultiScale (VMS) all’ottimizzazione dinamica, considerando gli spazi a bassa e ad alta dimensionalità rispettivamente come scale grossolane risolte e scale fini non risolte. Attraverso un ciclo V in stile multigrid, ENGINE alterna i due spazi, sondando dinamicamente informazioni a grana fine nello spazio ad alta dimensionalità e usandole per correggere l’efficiente processo di campionamento a bassa dimensionalità. Sotto ipotesi appropriate, l’analisi statistica caratterizza la riduzione della varianza e la correzione del bias indotto dalla curvatura, mentre l’analisi della convergenza stabilisce un limite di stazionarietà per gli aggiornamenti grossolani corretti. Le valutazioni su benchmark standard per LLM mostrano che ENGINE raggiunge un’accuratezza maggiore e converge più rapidamente dei metodi ZO esistenti, con un’accelerazione fino a $2.61\times$ nei passaggi in avanti e senza overhead aggiuntivo sul picco di memoria. Il codice è disponibile all’indirizzo https://github.com/AI4Science-WestlakeU/ENGINE.