PhysioWave-T: modelli fondazionali basati su wavelet efficienti in termini di token per i biosegnali

Abstract degli autori

Presentiamo PhysioWave-T, una famiglia di modelli fondazionali basati su wavelet ed efficienti in termini di token per EEG, ECG e sEMG. Il ripiegamento dinamico delle scale ricombina le J+1 sottobande wavelet prima della tokenizzazione, riducendo la lunghezza della sequenza da (J+1)CS a CS token per J livelli, C canali e S finestre temporali. Front end specifici per ciascun percorso ed embedding appresi dei nomi dei canali consentono a un unico Transformer per modalità di gestire montaggi e frequenze di campionamento diversi; le configurazioni non viste riutilizzano il backbone tramite adattatori leggeri. Pre-addestriamo un modello EEG da 30M di parametri su oltre 15M di finestre (19–128 canali), insieme a encoder ECG (30M) e sEMG (12M). Su quattro percorsi EEG, il ripiegamento delle scale riduce la latenza del Transformer di 4,0–7,2x e la memoria di picco di 6,8–12,7x rispetto all’espansione delle scale, senza perdita di accuratezza. Il nostro encoder EEG supera BENDR, BIOT, LaBraM ed EEGPT in 8 metriche su 9 e supera LUNA-L nel rilevamento delle crisi epilettiche con dispositivi indossabili, usando meno parametri. La fusione latente basata sull’affidabilità (RALF) integra inoltre token di riepilogo provenienti da encoder pre-addestrati in modo indipendente, tramite pesi adattivi al campione. Su SeizeIT2, RALF porta la sensibilità degli eventi, con 11 falsi allarmi/ora, dal 61,4% al 74,4% e l’AUPRC a livello di finestra da 0,321 a 0,399 rispetto al miglior baseline unimodale, superando la fusione con logit ponderati e la concatenazione in tutte le varianti. PhysioWave-T raggiunge inoltre risultati allo stato dell’arte in termini di accuratezza sEMG e il miglior macro-F1 su PTB-XL Super e Chapman-Shaoxing. Codice e modelli: https://github.com/ForeverBlue816/PhysioWave.