KITE: encoder temporale con conoscenza integrata per la previsione di eventi nelle serie temporali

Abstract degli autori

Prevedere eventi rari e ad alto costo nei sistemi multivariati di serie temporali è difficile, perché i loro precursori si osservano di rado e un modello basato esclusivamente sui dati ha quindi poco da cui apprendere. Gli ingegneri che gestiscono questi sistemi, tuttavia, possiedono conoscenze che precedono tali eventi, informazioni assenti dalle scarse etichette disponibili. Le chiamiamo prior semantico e le integriamo in un modello di previsione degli eventi autosupervisionato attraverso due meccanismi commutabili, uno per le covariate e uno per il bias dell’attenzione, ciascuno dei quali equivale all’identità quando è nullo; in questo modo, un’unica architettura si adatta a ogni tipo di prior senza dover cercare un’architettura specifica per ciascun dataset. Un prior è utile quando fornisce informazioni che la finestra osservata non contiene già: con un contesto breve, un prior informativo supera l’assenza di prior nel dominio (h-AUROC aggregata rispetto alla baseline senza prior: un orologio di periodicità +14%, p<0.001; un residuo di conservazione +47% con una frazione di etichette pari a 0,25); inoltre, un prior efficace si trasferisce fuori dominio (+53%), sostituendosi al trasferimento delle feature, mentre i prior che la finestra già ricostruisce restano inerti e il meccanismo di bias dell’attenzione non mostra benefici misurabili. KITE offre una via commutabile e attribuibile al condizionamento contestuale e una base per scalare verso modelli del mondo fondazionali per serie temporali, preaddestrati e interdominio, che esplicitano la struttura che li governa.