Modulare le intensità di fusione tramite la stima congiunta della loss per l’apprendimento continuo basato su LoRA

Abstract degli autori

L’apprendimento continuo (CL) mira ad adattare i modelli a nuovi compiti preservando al contempo le conoscenze apprese in precedenza. Recentemente, Low-Rank Adaptation (LoRA), un metodo rappresentativo di fine-tuning efficiente in termini di parametri (PEFT), ha attirato un’attenzione crescente nell’ambito dell’apprendimento continuo grazie alla sua efficienza e scalabilità. Diversi metodi di fusione basati su LoRA mantengono un unico modello per l’inferenza scalando l’aggiornamento LoRA appena appreso con un coefficiente e integrandolo nei pesi precedenti dopo ogni compito. Tuttavia, di solito controllano l’intero aggiornamento con un fattore scalare condiviso, sebbene i diversi elementi dell’aggiornamento possano influire in modo diverso sui compiti precedenti e su quello corrente. Per affrontare questo problema, proponiamo Merging Strength Modulation via Joint Loss Estimation (M2LE). Si compone di Hessian Information-guided Adaptive Merging (HIM) e Task Simulation Perturbation for Merging (TSP). Invece di cercare un coefficiente di fusione globale, HIM calcola direttamente l’aggiornamento fuso desiderato ottimizzando un obiettivo congiunto sui compiti precedenti e su quello corrente. La soluzione di questo obiettivo fornisce una soluzione analitica che assume naturalmente la forma di una modulazione elemento per elemento dell’aggiornamento LoRA del compito corrente. Per migliorare la stabilità dell’aggiornamento appreso nelle fusioni successive, introduciamo TSP, che simula l’interferenza tra compiti diversi. Gli esperimenti condotti su più benchmark mostrano che M2LE supera costantemente i metodi esistenti di apprendimento continuo basati su PEFT. Il codice è disponibile all’indirizzo https://github.com/bbdeeer/M2LE_NeurIPS2026.