Fidarsi della direzione, cercare il passo: metodi di ordine zero e di primo ordine per il fine-tuning degli LLM

Abstract degli autori

La scelta dell’ampiezza del passo resta una sfida centrale nell’ottimizzazione delle reti neurali su larga scala: passi prudenti rallentano la convergenza, mentre passi troppo ampi possono comprometterne la stabilità. Combiniamo l’ottimizzazione di ordine zero e di primo ordine, \textbf{Z}ero-and-\textbf{F}irst-\textbf{O}rder~(ZFO), e proponiamo un framework leggero che separa la scelta della direzione da quella dell’ampiezza del passo. ZFO affida la scelta della direzione a un ottimizzatore di primo ordine affidabile ed esegue valutazioni di ordine zero solo lungo questo sottospazio unidimensionale, per decidere quanto avanzare. Usando le {informazioni sul gradiente} correnti e due ulteriori valutazioni della funzione obiettivo, le istanze di ZFO costruiscono un modello locale della funzione obiettivo lungo la direzione proposta e scelgono un passo che tiene conto della curvatura entro un intervallo di ricerca delimitato. Ne risulta un meccanismo adattivo per la scelta del passo, meno costoso di una ricerca completa lungo la direzione. Forniamo garanzie teoriche che mostrano come le valutazioni basate sugli stessi campioni producano stime affidabili della curvatura mediante differenze finite, come il modello locale così ottenuto scelga un passo quasi ottimale nell’intervallo di ricerca e come ZFO converga nelle vicinanze di un punto stazionario. Nei contesti, nei modelli linguistici e nei dataset esaminati, ZFO migliora spesso l’ottimizzazione e le prestazioni finali rispetto ai metodi di riferimento di primo ordine a passo fisso; l’entità del miglioramento e il modello locale preferibile dipendono dalla funzione obiettivo. Il nostro codice è disponibile pubblicamente all’indirizzo: https://github.com/nizswan/Zeroth-First-Order-Framework.