MaRK: kernel ricorrenti adattati a Markov per il condizionamento dinamico degli operatori nei modelli a spazio di stato

Abstract degli autori

I modelli a spazio di stato (SSM) offrono un’alternativa efficiente ai Transformer per la modellazione delle sequenze. Tuttavia, il condizionamento degli SSM preaddestrati per la generazione iterativa agisce di norma all’esterno dell’operatore ricorrente, mediante l’iniezione di input o la modulazione delle attivazioni. Questi meccanismi espongono il modello alle informazioni di condizionamento, ma lasciano inalterate le dinamiche temporali sottostanti. Presentiamo MaRK (Markov-adapted Recurrent Kernels), un framework per il condizionamento dinamico degli operatori che traduce direttamente i vettori di contesto in modulazioni limitate dei parametri di ricorrenza ($A$), ingresso ($B$), uscita ($C$), connessione di salto ($D$) e discretizzazione ($Δ$) di un SSM congelato. Considerato nell’ottica dei sistemi LPV-SSM, MaRK genera una famiglia di sequenze di parametri di Markov indicizzate per contesto, consentendo a ogni passo temporale della diffusione di rimodellare il kernel di memoria input-output del modello. Implementiamo MaRK su un backbone Hydra SSM congelato con 111 milioni di parametri e studiamo tre geometrie degli adapter: Hypernet, polinomi di Chebyshev e kernel basati sulla trasformata discreta del coseno. Poiché questi adapter modificano la sequenza dei parametri di Markov mediante mappe ausiliarie a basso rango applicate al backbone congelato, il fine-tuning efficiente in termini di parametri è una conseguenza strutturale del meccanismo di adattamento stesso: per passare da un obiettivo bidirezionale a un regime di diffusione iterativa bastano da 6,3 a 11 milioni di parametri ausiliari addestrabili. La parametrizzazione limitata della ricorrenza fornisce inoltre un certificato analitico di stabilità quadratica affine per la ricorrenza modulata. Attraverso esperimenti sintetici di recupero di sistemi LPV e analisi diagnostiche degli operatori di Markov, mostriamo che MaRK recupera operatori temporali invarianti rispetto alle coordinate a parità di ipotesi e produce profili di memoria distinti e stabili, condizionati dal passo temporale. Nei test empirici, la variante Chebyshev ottiene i risultati migliori, con una perdita media di validazione di 2,55, seguita dalle geometrie DCT (2,59) e Hypernet (3,77).