Rendere LoRA identificabile: allineamento ortogonale per l’apprendimento continuo

Abstract degli autori

Cresce l’interesse per l’applicazione del fine-tuning efficiente in termini di parametri (PEFT) all’apprendimento continuo, perché permette di accelerare l’addestramento, attenuare l’oblio catastrofico e migliorare l’adattamento a nuovi compiti. Gli approcci precedenti hanno esplorato diverse strategie: aggiungere un nuovo ramo LoRA per ogni compito in arrivo, addestrare i moduli LoRA specifici dei vari compiti con obiettivi di perdita ortogonale e usare meccanismi di gating per integrare i moduli LoRA nuovi con quelli esistenti. Questi metodi, tuttavia, richiedono una quantità di memoria che cresce linearmente con il numero di compiti, limitandone la scalabilità. Approcci più recenti studiano l’addestramento di un unico LoRA sfruttando le asimmetrie della sua parametrizzazione, ma spesso risentono di un allineamento insufficiente delle rappresentazioni nello spazio dei parametri di LoRA. Per superare questi limiti, proponiamo Stiefel Optimization and Aligned Rotation (SOAR), un framework in due fasi per l’apprendimento continuo con LoRA. Nella prima fase, vincoliamo la matrice A a giacere sulla varietà di Stiefel, riducendo così il disallineamento delle coordinate allo spazio delle matrici di rotazione ortogonali. Nella seconda, introduciamo una procedura di allineamento di Procruste ortogonale per la matrice B, così da stimare la rotazione ottimale, abbinata a una strategia di fusione con conservazione per ciascun rango che quantifica la concordanza direzionale tra le rappresentazioni dei nuovi compiti e di quelli appresi in precedenza. Conduciamo numerosi esperimenti su diversi modelli e benchmark, dimostrando che SOAR ottiene ottimi risultati nell’apprendimento continuo senza richiedere memoria aggiuntiva.