Adattamento continuo tra modalità: apprendimento e oblio nei modelli multimodali unificati

Abstract degli autori

I modelli multimodali unificati (UMM), capaci di elaborare e generare diverse modalità all’interno di un unico framework, si sono affermati di recente come un paradigma potente. Tuttavia, quando questi modelli vengono sottoposti ad apprendimento continuo su più attività che coinvolgono modalità diverse, le dinamiche di apprendimento e oblio restano poco comprese. In questo articolo analizziamo sistematicamente come la progettazione architetturale e il metodo di adattamento influenzino l’apprendimento all’interno di una modalità e l’interferenza tra modalità, tra il versante della generazione e quello della comprensione. In particolare, riportiamo tre risultati. Primo, la gravità dell’interferenza tra modalità diminuisce con l’aumentare del grado di isolamento dei parametri specifici di ciascuna modalità. Secondo, all’interno del modello si osserva un’asimmetria: il versante della generazione di un UMM è nettamente più fragile di quello della comprensione. Terzo, ciò che il post-training aggiunge è anche ciò che si dimentica per primo: capacità acquisite esclusivamente tramite post-training, come la generazione personalizzata, crollano dell’84\% al 90\%, mentre le capacità acquisite durante il pretraining rimangono stabili. Nel complesso, questi risultati chiariscono come l’isolamento dei parametri e la fragilità del post-training influenzino le dinamiche di apprendimento e oblio degli UMM, offrendo un punto di partenza per sviluppare UMM in continua evoluzione.