Adattamento guidato dal backbone dopo il pretraining EEG: uno studio a capacità controllata

Abstract degli autori

I modelli fondazionali di elettroencefalografia (EEG) apprendono rappresentazioni che combinano informazioni provenienti da canali e tempi diversi. Questa struttura suggerisce l’impiego di adattatori che modellino le stesse relazioni durante l’apprendimento a valle. Tuttavia, non è chiaro se un design di questo tipo sia migliore rispetto ad altri adattatori candidati. Inoltre, per confrontare in modo equo gli adattatori candidati, dobbiamo considerare anche i loro parametri addestrabili. In questo studio, ci chiediamo se un adattatore guidato dal backbone (nativo) sfrutti meglio una capacità assegnata, confrontandolo con un modello di controllo basato su un percettrone multistrato che opera token per token e trasforma indipendentemente ciascun vettore di caratteristiche. Approssimiamo il numero di parametri addestrabili dei due modelli e manteniamo fisso l’encoder preaddestrato. In due modelli fondazionali di EEG e in compiti che riguardano il riconoscimento delle emozioni, la stadiazione del sonno e la classificazione di eventi EEG, l’adattatore nativo non mostra vantaggi costanti. Per un backbone, le differenze tra i design sono ridotte rispetto alla variabilità tra le esecuzioni. Per l’altro, il modello di controllo che opera token per token ottiene risultati migliori nel riconoscimento delle emozioni e nella classificazione di eventi EEG. Nella stadiazione del sonno, il vantaggio dell’adattatore nativo rispetto al modello di controllo si riduce quando addestriamo anche il componente che elabora sequenze di segmenti EEG. Le prestazioni relative dei due adattatori dipendono dal backbone, dal compito e dal protocollo di addestramento a valle. Questi risultati motivano la valutazione degli adattatori guidati dal backbone rispetto ad alternative con capacità equivalente.