DEFT: fine-tuning con disentanglement potenziato per modelli fondazionali EEG

Abstract degli autori

I modelli fondazionali per EEG (EFM) hanno migliorato l’apprendimento delle rappresentazioni EEG trasferendo conoscenze dal pretraining su larga scala con più soggetti ai compiti downstream. Tuttavia, gli embedding ottenuti dal pretraining spesso conservano notevoli variazioni legate al soggetto, aumentando il carico sul classificatore downstream, soprattutto nei contesti cross-subject. Per affrontare questo problema, proponiamo Disentangled EFM Fine-Tuning (DEFT), un adattatore plug-and-play per il fine-tuning degli EFM. DEFT favorisce la separazione dei rami dei token ottenuti dal pretraining in contenuto orientato al compito e stile coerente con il soggetto, quindi esegue le predizioni downstream a partire dal ramo del contenuto. Implementa questa architettura, che fattorizza prima di classificare, con un raffinamento gaussiano ricorsivo, una regolarizzazione della varianza temporale, un apprendimento contrastivo consapevole del soggetto e la ricostruzione. Gli esperimenti condotti su più dataset EEG e quattro backbone EFM mostrano che DEFT migliora le baseline corrispondenti di fine-tuning. Ulteriori studi di ablazione e analisi avvalorano l’organizzazione prevista dei rami di contenuto e stile.