CoDe-LoRA: attenuare il dilemma dell’ortogonalità nell’apprendimento continuo degli LLM attraverso il consolidamento e il disaccoppiamento delle conoscenze

Abstract degli autori

L’apprendimento continuo (CL) è essenziale affinché i modelli linguistici di grandi dimensioni (LLM) possano adattarsi in sequenza a compiti che evolvono. Per mitigare l’oblio catastrofico, i progressi recenti impiegano l’adattamento a basso rango con proiezioni ortogonali (per esempio, O-LoRA) per isolare i parametri dei singoli compiti. Tuttavia, mostriamo che vincoli geometrici così rigidi innescano un «dilemma dell’ortogonalità»: la rigida separazione dei parametri ostacola il trasferimento e l’accumulo di rappresentazioni condivise tra compiti semanticamente affini. In questo lavoro proponiamo un nuovo metodo senza replay, chiamato Consolidation and Decoupling LoRA (CoDe-LoRA), per l’apprendimento continuo degli LLM. CoDe-LoRA distingue nel processo di apprendimento il consolidamento della conoscenza universale dal disaccoppiamento della conoscenza specifica dei singoli compiti. A questo scopo, CoDe-LoRA sfrutta un meccanismo adattivo di proiezione sullo spazio nullo e un instradamento semantico per bilanciare l’accumulo delle conoscenze con l’adattamento ai singoli compiti. I risultati sperimentali su quattro backbone e tre benchmark di apprendimento continuo mostrano che CoDe-LoRA ottiene la migliore accuratezza media. Il nostro codice è disponibile all’indirizzo https://github.com/Estrellajer/CoDe-LoRA.