Come i colli di bottiglia di rango finito modellano il panorama dell’adattamento a basso rango

Abstract degli autori

L’adattamento a basso rango (LoRA) è diventato il metodo standard per il fine-tuning di grandi modelli preaddestrati con un numero ridotto di parametri, ma le spiegazioni teoriche del perché siano sufficienti aggiornamenti a basso rango restano incomplete. La maggior parte delle analisi esistenti si basa sul regime del Neural Tangent Kernel (NTK), che linearizza la rete attorno ai pesi preaddestrati. In questo lavoro adottiamo un approccio diverso, che non richiede alcuna linearizzazione: la nostra osservazione fondamentale è che, una volta congelato il modello di base, la funzione di perdita dipende da ciascuna matrice di pesi adattata soltanto attraverso una mappa lineare di rango finito indotta dalle attivazioni congelate. La regolarizzazione mediante norma traccia costringe quindi l’ottimizzatore a scegliere una matrice a basso rango tra tutte quelle che producono lo stesso output osservato. Si ottengono così minimizzatori globali i cui ranghi sono determinati dal rango di questa mappa, che chiamiamo \emph{bottleneck rank}, anziché dalla dimensione del campione. Per l’attenzione multi-head, ricaviamo limiti superiori più stretti per il rango sfruttando altre due invarianti: la softmax applicata riga per riga è insensibile all’aggiunta di una costante a ciascuna riga della matrice dei punteggi, e gli aggiornamenti dei valori sono osservabili solo dopo la ponderazione mediante l’attenzione e la proiezione di output congelata. Per la funzione obiettivo di LoRA fattorizzata con weight decay, dimostriamo un risultato complementare relativo al caso non convesso: dopo una perturbazione semidefinita positiva generica, arbitrariamente piccola, ogni punto stazionario del primo ordine ha rango non pieno quando il rango di LoRA supera una soglia determinata dal bottleneck rank. Infine, mostriamo che i minimizzatori globali della funzione obiettivo perturbata sono quasi ottimali per il problema originale con norma traccia e forniamo limiti uniformi di generalizzazione governati dalla struttura spettrale delle caratteristiche congelate.