Memoria funzionale HiPPO: attenzione interrogabile tramite coordinate per serie temporali irregolari

Abstract degli autori

Le serie temporali irregolari richiedono modelli capaci di rispondere a interrogazioni temporali in corrispondenza di coordinate arbitrarie. Gli approcci esistenti, però, mantengono in genere rappresentazioni dipendenti dalle osservazioni che devono essere rielaborate per ogni interrogazione. Presentiamo HiPPO Functional Memory (HiPPO-FM), un operatore di attenzione con memoria funzionale che condensa una sequenza storica irregolare in uno stato riutilizzabile, accessibile tramite coordinate. Anziché memorizzare token indicizzati per osservazione o traiettorie latenti, HiPPO-FM registra le osservazioni in uno spazio funzionale a rango fisso e valuta direttamente le coordinate mediante una geometria funzionale corrispondente. Le coordinate HiPPO smussate tramite kernel e la lettura basata sulla matrice di Gram definiscono un meccanismo condiviso di scrittura e lettura, mentre l’autoattenzione sul supporto osservato consente di ottenere rappresentazioni dipendenti dal contenuto prima della compressione. Caratterizziamo lo spazio a dimensione finita delle interrogazioni così ottenuto e ricaviamo una scomposizione dell’errore che distingue l’approssimazione della geometria funzionale dalla discrepanza della memoria appresa. Nei compiti di ricostruzione a coordinate continue, apprendimento di rappresentazioni irregolari, estrapolazione su dati reali e previsione di sequenze di eventi, HiPPO-FM migliora sistematicamente le prestazioni di solidi modelli di riferimento per le serie temporali irregolari: raggiunge un’elevata accuratezza di ricostruzione su Spiral, prestazioni competitive su 20 dataset UEA, una migliore estrapolazione su dati reali e risultati superiori in diversi benchmark di eventi irregolari. Dopo la codifica, lo stato funzionale compatto può essere riutilizzato per diversi insiemi di interrogazioni senza rielaborare la sequenza storica delle osservazioni.