Transizione frazionaria dello spazio degli stati per la modellazione di sequenze lunghe

Abstract degli autori

I modelli dello spazio degli stati (SSM) comprimono la storia di una sequenza in uno stato ricorrente di dimensioni limitate: la legge che governa la memoria diventa così una scelta architetturale centrale per le prestazioni su contesti lunghi. La maggior parte degli SSM moderni si basa su dinamiche descritte da equazioni differenziali ordinarie (ODE), che producono un decadimento esponenziale della memoria e ne limitano la capacità di conservare informazioni su ampi intervalli temporali. Presentiamo FRAC, un’architettura SSM selettiva derivata da dinamiche frazionarie che sostituisce il decadimento esponenziale con una memoria lunga che segue una legge di potenza. Per rendere pratiche le dinamiche frazionarie, FRAC approssima il kernel bersaglio a coda pesante con una somma di modi esponenziali a spaziatura logaritmica e con un numero finito di stati. Questa costruzione trasforma la memoria frazionaria in un modulo ricorrente efficiente, con addestramento e prefill paralleli, mantenendo la decodifica autoregressiva con uno stato di dimensioni limitate. Numerosi esperimenti, tra cui la modellazione linguistica con 1,3 miliardi di parametri, mostrano che FRAC migliora sistematicamente le prestazioni su contesti lunghi rispetto agli SSM di riferimento più avanzati, restando competitivo sui contesti brevi. Questi risultati mostrano che le dinamiche frazionarie offrono un prior pratico ed efficace per gli SSM destinati a contesti lunghi.