TIDES: consapevolezza implicita del tempo nei modelli selettivi a spazio di stato

Abstract degli autori

I modelli selettivi a spazio di stato (SSM), come Mamba, ottengono una notevole espressività per token rendendo il passo di discretizzazione temporale $\TildeΔ$ una funzione appresa dell’input. Così facendo, però, $\TildeΔ$ non coincide più con l’intervallo di tempo fisico $Δ$ tra osservazioni consecutive, limitando la capacità di questi modelli di gestire serie temporali irregolari. Gli SSM a tempo continuo, come S5, mantengono $\TildeΔ\equivΔ$ e gestiscono quindi direttamente i timestamp irregolari, ma le loro dinamiche restano lineari e invarianti nel tempo (LTI), il che limita l’espressività per token. Proponiamo \textbf{TIDES}, una variante degli SSM selettivi che concilia le architetture selettive e quelle a tempo continuo spostando la dipendenza dall’input dalla dimensione del passo alla matrice di stato diagonale. Di conseguenza, $\TildeΔ\equivΔ$ come in S5, permettendo al modello di gestire direttamente i timestamp irregolari senza sacrificare l’espressività per token che rende efficaci gli SSM selettivi. Lo dimostriamo con il nuovo benchmark sperimentale \emph{Fading Flash}, un test diagnostico compatto e controllato per modelli di sequenza che verifica congiuntamente la dipendenza dall’input e l’estrapolazione a valori di $Δ$ fuori distribuzione, isolando le diverse modalità di fallimento delle attuali architetture all’avanguardia che TIDES evita grazie alla sua struttura. Nei benchmark su larga scala, TIDES ottiene il nuovo miglior rango medio nella classificazione di serie temporali UEA e nel benchmark di regressione Physiome ODE, ed eguaglia o supera il modello baseline di riferimento in 6 degli 8 dataset nativamente irregolari relativi ad astronomia, agricoltura, rilevamento neuromorfico ed eventi climatici. Codice disponibile all’indirizzo: \url{https://github.com/TaylanSoydan/TIDES}.