PaLoRA: adattamento a basso rango a ritmo modulato per l’apprendimento continuo

Abstract degli autori

I metodi di apprendimento continuo basati su LoRA attenuano l’oblio catastrofico con diversi meccanismi, ma quasi tutti li affiancano a tassi di apprendimento bassi, usati come euristica per limitare l’entità del fattore di scala applicato al gradiente. Queste euristiche fisse non offrono indicazioni teoriche su come debba evolvere la forza del vincolo man mano che i compiti si accumulano. Mostriamo che, anche in presenza di vincoli direzionali come la proiezione sullo spazio nullo, gli aggiornamenti a precisione finita sconfinano inevitabilmente, lungo più direzioni, nel sottospazio delle conoscenze pregresse accumulate. I tassi di apprendimento bassi attenuano questo fenomeno, ma non possono impedire che l’oblio cumulativo si intensifichi al crescere del rango effettivo delle conoscenze pregresse. Mostriamo che il vincolo ottimale sull’ampiezza degli aggiornamenti deve rafforzarsi in modo adattivo con questo rango effettivo, per bilanciare stabilità e plasticità, ossia la conservazione delle conoscenze precedenti e l’acquisizione di informazioni sui nuovi compiti. Nell’ambito di un modello anisotropo di questo sconfinamento, ricaviamo una legge di modulazione $s^*=\sqrt{R/c}$ che caratterizza il fattore di scala ottimale dei passi del gradiente, ossia il vincolo stesso sulla loro ampiezza, dove $R$ è il rango effettivo degli aggiornamenti passati. Su questa base proponiamo PaLoRA, che comprime le conoscenze pregresse mediante un troncamento adattivo della SVD, proietta i gradienti sullo spazio nullo dei compiti precedenti e applica una modulazione adattiva in funzione del rango. Gli esperimenti mostrano miglioramenti costanti rispetto ai metodi precedenti, con risultati particolarmente buoni nei contesti con sequenze lunghe di compiti e aumenti sostanziali del 4% nell’accuratezza nei difficili benchmark ImageNet-A e ImageNet-R da 50 compiti.