OpenTSLM TeeMoE: un modello linguistico unificato per serie temporali, capace di fare previsioni, previsioni condizionate dal contesto e ragionamento

Abstract degli autori

Le applicazioni reali che impiegano serie temporali richiedono sempre più spesso modelli capaci di prevederne l’andamento, formulare previsioni condizionate dal contesto e ragionare sulle dinamiche temporali attraverso il linguaggio. Gli attuali modelli di base per le serie temporali, però, restano frammentati tra queste capacità: i modelli numerici specializzati spesso forniscono le previsioni migliori, mentre quelli basati sul linguaggio offrono una comprensione e un’analisi più ampie del contesto. La sfida principale è riunire queste capacità eterogenee senza compromettere le prestazioni di ciascuna. Presentiamo OpenTSLM TeeMoE, un modello linguistico generalista per serie temporali che può formulare previsioni direttamente dalle serie temporali osservate, ragionare sul contesto testuale e sugli schemi temporali, nonché sintetizzare e affinare le previsioni di modelli numerici esterni specializzati. Addestriamo separatamente tre esperti a basso rango, dedicati rispettivamente all’aggregazione delle previsioni, alla previsione nativa e all’analisi temporale, su un backbone condiviso. Un controller LoRA mixture-of-experts appreso pondera poi, per ogni richiesta, gli aggiornamenti dei parametri di ciascun esperto, mantenuti fissi. Il modello proposto ottiene risultati solidi su benchmark ampiamente utilizzati per la previsione delle serie temporali, le previsioni condizionate dal contesto e il ragionamento temporale basato sul linguaggio: si colloca tra i primi tre su GIFT-Eval in base al rango MASE medio, su Context is Key in base a RCRPS e su TimeSeriesExam in base all’accuratezza.