I meccanismi di apprendimento continuo si combinano per la memorizzazione su orizzonti temporali lunghi

Abstract degli autori

I modelli linguistici potrebbero dover assimilare informazioni che arrivano nel tempo e conservarle attraverso molti aggiornamenti successivi. Per studiare questa sfida, introduciamo la memorizzazione su orizzonti temporali lunghi: uno scenario in cui un modello apprende 100 task di domanda e risposta tramite fine-tuning supervisionato continuo, senza conservare esempi di addestramento precedenti né ricevere identificativi dei task durante l’inferenza. Gli aggiornamenti sequenziali causano un oblio catastrofico e nessuno dei singoli meccanismi di apprendimento continuo che valutiamo mantiene una buona capacità di conservazione su questo orizzonte. Ipotizziamo che combinare meccanismi capaci di affrontare cause diverse dell’oblio sia più efficace. Organizziamo queste combinazioni secondo due dimensioni progettuali. Gli ancoraggi ai dati, alla funzione e ai pesi specificano quali informazioni precedenti debba preservare ciascun aggiornamento, mentre le regole di allocazione a basso rango determinano dove vengono conservati gli aggiornamenti successivi. Per verificare sistematicamente questa ipotesi, costruiamo tre distinti dataset di memorizzazione da 100 task. Introduciamo il successive halving a livello di task per esplorare lo spazio delle possibili combinazioni e usiamo un esperimento fattoriale per misurare gli effetti individuali e quelli di interazione. Il nostro metodo migliore combina tutti e tre gli ancoraggi con merged LoRA, si colloca tra i primi 3 metodi in tutti i dataset e porta il tasso medio di conservazione finale dall’1,2% del fine-tuning sequenziale ingenuo al 34,9%, un miglioramento di 28 volte. L’ancoraggio ai dati e merged LoRA producono i maggiori miglioramenti medi e, combinati, hanno un effetto più che additivo su tutti e tre i dataset. Nel complesso, questi risultati mostrano che combinare meccanismi complementari migliora sensibilmente la memorizzazione su orizzonti temporali lunghi rispetto a quanto ottiene ciascun meccanismo da solo.