DES-JEPA: apprendimento di un vocabolario condiviso per sequenze di eventi discreti ad alta dimensionalità

Abstract degli autori

I modelli fondazionali temporali come Chronos e TimesFM generalizzano a domini diversi grazie a uno spazio di osservazione numerico condiviso. Al contrario, le sequenze discrete di eventi (DES), tra cui i log operativi degli eventi e le traiettorie di eventi clinici dei pazienti, hanno vocabolari di eventi specifici del dominio, le cui etichette non presentano corrispondenze coerenti tra i diversi domini. Oltre a questa mancanza di coerenza, il numero di eventi distinti nei contesti reali è abbastanza elevato da mettere alla prova sia la modellazione classica dei processi temporali puntuali, sia gli attuali modelli fondazionali di inferenza in contesto, come FIM-PP. È importante notare che gli attuali modelli fondazionali per le DES sono limitati a un numero ridotto e fisso di tipi di eventi, il che ne restringe l’applicabilità a flussi di eventi realistici e ad alta dimensionalità. Per affrontare questo problema, proponiamo due moduli complementari: (i) DES-JEPA, un’architettura predittiva a embedding congiunto che apprende un vocabolario discreto condiviso da processi stocastici sintetici con vocabolari di eventi non allineati; e (ii) DES-PFN, una rete adattata al prior per sequenze discrete di eventi che riutilizza il vocabolario appreso per prevedere in contesto l’evento successivo. Senza fine-tuning specifico per il compito, questo framework ottiene prestazioni zero-shot competitive su otto dataset reali non visti e arriva a gestire fino a 700 tipi di eventi distinti.