Dal recupero al riconoscimento: post-addestramento arricchito di conoscenze dei modelli fondazionali per la classificazione delle serie temporali

Abstract degli autori

I modelli fondazionali per le serie temporali (TSFM) hanno compiuto notevoli progressi nei compiti di classificazione grazie al pre-addestramento su larga scala. Tuttavia, il loro post-addestramento si concentra soprattutto sul fine-tuning implicito dei parametri, nel quale le informazioni pertinenti al compito si intrecciano con abbondanti conoscenze irrilevanti in vasti spazi dei parametri. Questo può ostacolare la capacità dei TSFM di attivare con precisione le conoscenze utili per la classificazione nei compiti a valle. A questo scopo, proponiamo Retrieval-to-Recognition (R2R), un paradigma di post-addestramento integrabile nei modelli esistenti che adatta i TSFM pre-addestrati alla classificazione delle serie temporali. Anziché pre-addestrare un nuovo modello fondazionale, R2R migliora il post-addestramento dei TSFM esistenti: introduce un codificatore di query separato per estrarre schemi discriminanti e recuperare conoscenze numeriche relative a singole istanze da una base di conoscenza appositamente costruita. Le conoscenze esplicite recuperate vengono poi combinate con gli embedding parametrici impliciti del TSFM, consentendo un trasferimento congiunto delle conoscenze sia a livello dei parametri sia delle caratteristiche. In questo modo, R2R permette ai TSFM di richiamare gli schemi pertinenti al compito appresi durante il pre-addestramento, migliorando l’efficienza con cui le conoscenze vengono utilizzate nel trasferimento alla classificazione nei compiti a valle. Esperimenti condotti su 158 dataset di serie temporali mostrano che R2R migliora sistematicamente le prestazioni di classificazione dei TSFM più avanzati. Ulteriori studi di ablazione e sull’arricchimento con conoscenze confermano l’efficacia del framework proposto.