WhatIf-Bench: un benchmark per le previsioni di serie temporali che tengono conto degli interventi

Abstract degli autori

I recenti modelli fondazionali per le serie temporali (TSFM) possono utilizzare le covariate nel contesto, estendendo le previsioni zero-shot a problemi influenzati da fattori esterni. Questo permette di analizzare scenari: prevedere come una variabile bersaglio risponde a eventi che impostano le covariate su valori futuri scelti. Resta da capire se i modelli siano in grado di farlo in modo affidabile. Presentiamo WhatIf-Bench, un benchmark che misura quanto bene i modelli previsionali utilizzano le covariate per prevedere la risposta di una variabile bersaglio a eventi futuri. WhatIf-Bench è semi-sintetico: le serie temporali provengono da simulatori meccanicistici di data center, reti elettriche, traffico stradale e reti idriche, con relazioni controllate tra covariate e variabile bersaglio, fondate sulle caratteristiche di ciascun sistema. Ogni compito presenta una sequenza storica di eventi che intervengono sulle covariate e chiede poi di prevedere un evento futuro che ripropone valori già osservati (Replay) oppure li imposta su valori mai osservati (Novel). Variando il numero di covariate, gli eventi storici e la durata degli eventi si ottengono 37.665 compiti. Valutando TSFM, LLM di frontiera e semplici modelli di regressione di riferimento, riscontriamo che gli LLM raggiungono i valori di skill più elevati (il miglioramento rispetto a un modello di riferimento ingenuo), superando i migliori TSFM. Tutti i modelli ottengono buoni risultati nelle previsioni di eventi futuri Replay (skill dal 48 all’85%), ma scendono a valori dal -7 al 50% per gli eventi futuri Novel; i modelli di regressione di riferimento registrano il calo maggiore. La skill sugli eventi futuri Novel diminuisce anche quando gli eventi impostano congiuntamente un maggior numero di covariate. Un maggior numero di eventi storici migliora la skill sugli eventi futuri Novel per tutti i modelli, ma permangono ampie differenze. WhatIf-Bench mostra che la sfida principale è generalizzare agli eventi futuri Novel e offre un banco di prova per l’analisi di scenari arbitrari.