L’autopreservazione nei modelli linguistici

Abstract degli autori

L’apprendimento continuo (CL) mira ad adattare i modelli preaddestrati preservandone le capacità precedenti. Tuttavia, i compiti forniti per la preservazione coprono solo una parte di ciò che un modello sa, mentre l’oblio può estendersi oltre quei compiti. Studi recenti mostrano che i modelli linguistici possono integrare queste informazioni limitate generando dati utili per il replay senza accedere ai dati con cui sono stati originariamente addestrati. Questo solleva una domanda sull’autopreservazione: un modello può contribuire a scegliere obiettivi di preservazione che proteggano più ampiamente le proprie capacità? Per studiare la questione, organizziamo le descrizioni dei compiti e i relativi esempi in Task Banks, le cui voci possono essere selezionate e combinate per guidare la generazione di dati per il replay da parte di un modello con parametri congelati. L’instruction tuning continuo con modelli Qwen di diverse dimensioni produce tre risultati. Primo, il nuovo compito e il tasso di apprendimento influiscono su quali capacità precedenti si deteriorano, mentre monitorare le risposte in precedenza corrette rivela perdite che l’accuratezza media può nascondere. Secondo, il replay generato riduce l’oblio nei compiti non presenti nella banca. Combinare banche parziali rafforza questa protezione, migliorando il mantenimento medio delle risposte precedentemente corrette rispetto all’uso di ciascuna banca da sola, per tutte le dimensioni testate. Terzo, il modello può anche contribuire a scegliere i compiti su cui effettuare il replay: a 4B, una selezione guidata dal nuovo compito migliora il mantenimento medio sui compiti tenuti da parte rispetto a una selezione casuale, con miglioramenti simili sul nuovo compito; i modelli più piccoli, però, non mostrano un vantaggio corrispondente. Con un numero fisso di esempi, tuttavia, sostituire esempi del nuovo compito con esempi per il replay migliora la preservazione, ma riduce i miglioramenti sul nuovo compito. Nel complesso, questi risultati mostrano che i modelli possono favorire un’autopreservazione più ampia generando dati per il replay e, in alcune circostanze, scegliendo su quali compiti effettuarlo.