IND-Eval: allineare valutazione e simulazione per i modelli fondazionali di serie temporali industriali

Abstract degli autori

Presentiamo IND-Eval, un benchmark pubblico che organizza serie temporali industriali di diversi domini in compiti di previsione specifici per ciascuna fonte. Rispetto a benchmark consolidati come GIFT-Eval, pone maggiore attenzione a risoluzioni di campionamento più fini e a una più alta prevalenza di previsioni multivariate. Valutando Chronos-2, TiRex-2 e TimesFM-3, rileviamo che TimesFM-3 ottiene i valori aggregati più bassi di nMASE e nCRPS, bilanciati per fonte, e risulta il migliore per sette fonti su nove secondo entrambe le metriche. Le eccezioni relative a singole fonti confermano la necessità di valutazioni rappresentative del dominio nella scelta del modello. Questi risultati motivano anche a migliorare l’allineamento con il dominio durante il pretraining, poiché i dati industriali reali sono spesso troppo scarsi per colmare direttamente le lacune specifiche di ciascun dominio. Indaghiamo quindi se la struttura statistica di un dominio possa guidare la progettazione di un simulatore. In un caso di studio su due regimi di monitoraggio di pozzi offshore, miglioriamo la copertura di un simulatore generale mediante una pipeline di simulazione arricchita con oscillatori. Questo riduce l’errore di previsione nel dominio obiettivo, ma peggiora le prestazioni sul sottoinsieme di GIFT-Eval con variabili obiettivo nativamente univariate. Una miscela 50/50 delle procedure di simulazione generale e arricchita ottiene l’errore più basso tra le tre procedure di addestramento per tutte e quattro le coppie evento-metrica del caso di studio, recuperando al contempo gran parte delle prestazioni perse su GIFT-Eval. Nel complesso, questi risultati mostrano come una valutazione rappresentativa del dominio possa guidare la scelta del modello e la composizione dei dati simulati, mettendo in luce un compromesso tra specializzazione e generalità.