TimeBraid: unificare serie temporali e linguaggio per comprendere e prevedere

Abstract degli autori

Presentiamo TimeBraid, una serie di modelli unificati per serie temporali e linguaggio che allineano modelli linguistici preaddestrati e modelli di base preaddestrati per le serie temporali mediante strati intercalati di attenzione residua globale. Ciascun modello eredita da un lato conoscenze, capacità di seguire istruzioni e di ragionare; dall’altro, la percezione dei segnali continui e la previsione zero-shot. Le fonde poi in uno spazio di rappresentazione condiviso, in cui entrambe le modalità vengono comprese e generate. Esaminiamo le scelte progettuali che rendono possibile questa modellazione unificata: dove allineare i due spazi di rappresentazione, come ancorare il linguaggio alla struttura temporale, come bilanciare comprensione e generazione e come mantenere stabile l’ottimizzazione congiunta. L’approccio che ne risulta combina uno schema di prompting unificato per diversi compiti relativi alle serie temporali e al testo, un addestramento congiunto stabilizzato e una supervisione basata su 2,2 milioni di coppie serie temporale-testo selezionate e 4,9 milioni di campioni per l’instruction tuning. Nei benchmark che coprono percezione, comprensione e ragionamento sulle serie temporali, oltre alla previsione sia assistita dal contesto sia unimodale, TimeBraid resta competitivo rispetto a modelli generalisti molto più grandi e a modelli specializzati per i singoli compiti.