LogSig-SSM: modellazione delle serie temporali con compressione multiscala tramite log-signature per modelli a spazio di stato

Abstract degli autori

I dati delle serie temporali sono spesso campionati in modo irregolare ad alte frequenze e presentano dipendenze a lungo raggio, il che rende difficile modellare orizzonti temporali lunghi. I modelli a tempo continuo, come le equazioni differenziali neurali controllate (NCDE) e le equazioni differenziali neurali rough (NRDE), possono gestire il campionamento irregolare, ma si adattano male alle sequenze lunghe. I modelli selettivi a spazio di stato (SSM), come Mamba, hanno una complessità che cresce linearmente con la lunghezza della sequenza, ma offrono una capacità limitata di combinare ricorrentemente le dimensioni nascoste all’interno di un singolo blocco. Proponiamo LogSig-SSM (Log-Signature Compression for State-Space Models), che dapprima comprime lunghe serie temporali multivariate in una sequenza più breve di token mediante log-signature calcolate su finestre a più scale, poi elabora questi token con un’architettura di base SSM selettiva. LogSig-SSM è scalabile e robusto rispetto al campionamento irregolare: combina token di log-signature, che catturano interazioni di ordine superiore tra canali, con un SSM selettivo che modella le dipendenze a lungo raggio. Il modello ammette anche un’interpretazione a tempo continuo come sistema di tipo NCDE/NRDE guidato da un input basato sulle log-signature, nel quale la selettività induce un riscalamento delle dinamiche latenti dipendente dall’input. In quattro benchmark — classificazione di sequenze lunghe su UEA, regressione di dati fisiologici ad alta frequenza su PPG-DaLiA, previsione meteorologica multivariata e predizione clinica su dati campionati irregolarmente in PhysioNet Sepsis — LogSig-SSM supera o eguaglia solidi modelli di riferimento SSM e a tempo continuo, con un addestramento fino a $30\times$ più rapido e un utilizzo di memoria GPU fino a $37\times$ inferiore rispetto a Mamba sulle sequenze più lunghe.