Adattamento normalizzato a basso rango

Abstract degli autori

Sebbene l’adattamento a basso rango (LoRA) sia ampiamente utilizzato per adattare i modelli modificando pochi parametri, resta poco studiato come regolarizzarne le dinamiche di addestramento per ottenere un’ottimizzazione stabile ed efficace. Poiché LoRA inizializza a zero la proiezione verso dimensioni superiori, le dinamiche iniziali dell’ottimizzazione dipendono in larga misura dalla proiezione verso dimensioni inferiori. Partendo da questa osservazione, presentiamo Normalized Low-Rank Adaptation (NoRA), un metodo semplice ma efficace che normalizza le matrici di proiezione verso dimensioni inferiori durante l’addestramento. Mostriamo inoltre che la stessa normalizzazione può essere applicata soltanto all’inizializzazione, migliorando LoRA standard senza doverla ripetere durante l’addestramento. Nel preaddestramento, nel fine-tuning supervisionato e nell’apprendimento per rinforzo, NoRA accelera sistematicamente la convergenza, migliora le prestazioni e la stabilità dell’addestramento e attenua la perdita catastrofica delle conoscenze acquisite. Questi benefici non richiedono né parametri addestrabili aggiuntivi né calcoli in fase di inferenza, rendendo NoRA un miglioramento semplice e ampiamente applicabile a LoRA.