The Pulse
IBM presenta un ensemble di quattro modelli Granite per le previsioni
IBM Research ha presentato Granite Timeseries Ensemble R1 su Hugging Face, combinando quattro modelli preaddestrati per le previsioni di serie temporali. Su 97 configurazioni di GIFT-Eval, l’ensemble ha ridotto leggermente l’errore aggregat
AI.info Team · Scritto con l’IA · verificato ·
IBM Research ha pubblicato Granite Timeseries Ensemble R1 su Hugging Face il 22 ottobre, riunendo in un’unica configurazione quattro modelli Granite preaddestrati per le previsioni. L’ensemble produce previsioni puntuali e quantili senza riaddestramento sui dati dell’utente né stima dei pesi a partire dagli errori delle previsioni passate. IBM raccomanda come impostazione predefinita la combinazione delle probabilità con pesi uguali, affiancata da un’alternativa adattiva che assegna i pesi ai modelli in base all’ampiezza dei loro intervalli di previsione.
Quattro architetture Granite in un’unica configurazione
L’ensemble riunisce PatchTST-FM-r1, PatchTST-FM-r2, FlowState-r1.1 e TTM-r3. I modelli adottano approcci diversi: architetture Transformer e Conformer basate su segmenti, un modello a spazio di stato e un mixer leggero. Secondo IBM, questi approcci differenti potrebbero produrre errori che non coincidono, riducendo la necessità di scegliere un unico modello per ogni serie e orizzonte di previsione.
La pubblicazione contiene una configurazione, non i pesi dei modelli fusi insieme. Quando viene eseguita, scarica i quattro checkpoint dai rispettivi repository su Hugging Face; per questo la prima esecuzione richiede più tempo e usa più memoria rispetto a una previsione con un solo modello. Gli sviluppatori installano il pacchetto Granite TSFM e caricano la configurazione tramite un’interfaccia di previsione condivisa.
La combinazione a pesi uguali prevale di poco nelle previsioni puntuali
IBM ha valutato entrambe le configurazioni dell’ensemble senza fine-tuning su 97 configurazioni di dataset di GIFT-Eval. Nei risultati rilevati il 20 ottobre, il Probabilistic Ensemble a pesi uguali ha ottenuto un punteggio MASE di 0,683, di poco migliore dello 0,685 di PatchTST-FM-r2, il miglior componente individuale su questa metrica. Per MASE, un punteggio più basso è migliore; il margine è ridotto e IBM presenta il vantaggio come un valido punto di partenza generale, non come una vittoria netta su ogni dataset.
Il confronto sulle previsioni puntuali non risolve la questione dei risultati probabilistici. PatchTST-FM-r2 ha ottenuto il punteggio aggregato CRPS/MWQL più basso, pari a 0,467, mentre entrambi gli ensemble hanno registrato 0,471. L’IQR Ensemble ha ottenuto la migliore posizione media per CRPS tra le sei previsioni Granite mostrate, mentre la combinazione a pesi uguali ha guidato la classifica per posizione media MASE. IBM osserva inoltre che queste posizioni confrontano i modelli con quelli della più ampia classifica di GIFT-Eval e possono cambiare con l’aggiunta di nuove voci.
I quantili indicano un intervallo, non una garanzia
La configurazione predefinita produce quantili da 0,1 a 0,9, oltre a una previsione puntuale basata sulla mediana. Gli utenti possono usare i quantili 0,1 e 0,9 per costruire un intervallo con una copertura nominale dell’80%, per poi verificare sui propri dati se l’intervallo corrisponde effettivamente ai risultati osservati. Un intervallo nominale non dimostra che le previsioni siano calibrate.
«Un intervallo più stretto non significa necessariamente una previsione più accurata o meglio calibrata, e la ponderazione IQR può favorire un componente eccessivamente sicuro delle proprie previsioni.»
Fearghal O’Donncha, Chandramouli Kamanchi, Guruprasad Ranjini, Wesley M. Gifford, Natalia Martinez Gil, Bradley Eck, Pankaj Dayama, Roman Vaculin e Ayhan Sebin, IBM Research
Il metodo IQR attribuisce maggiore influenza ai componenti con intervalli previsti più stretti, con pesi che variano in base al campione, alla variabile obiettivo e al passo di previsione. Non apprende dagli errori delle previsioni passate e IBM avverte che un intervallo stretto può riflettere un’eccessiva sicurezza anziché una maggiore accuratezza. Il metodo a pesi uguali fissi evita questa specifica scelta di ponderazione: per questo IBM lo raccomanda come primo termine di confronto.
È comunque il backtesting a stabilire se è adatto
Il benchmark non dimostra che l’ensemble migliorerà le previsioni per ogni applicazione. IBM afferma che la configurazione attuale produce previsioni per i canali multivariati in modo indipendente, senza usare informazioni provenienti da altri canali, e che combinare quattro checkpoint aumenta il tempo di inferenza e l’uso di memoria. I modelli che compongono l’ensemble differiscono anche per limiti della finestra di contesto, orizzonti di previsione, preprocessing e gestione dei valori mancanti.
IBM consiglia agli utenti di sottoporre a backtesting entrambi i metodi dell’ensemble rispetto a un valido modello individuale, usando finestre storiche rappresentative e verificando l’errore delle previsioni puntuali, la perdita sui quantili e la copertura degli intervalli, oltre a misurare tempi di esecuzione e memoria. La configurazione può anche essere estesa con modelli di previsione esterni compatibili, ma queste combinazioni richiedono verifiche specifiche di accuratezza, calibrazione, costi e licenze. I punteggi dell’ensemble di quattro modelli offrono un punto di partenza valutato su un benchmark; sono i test specifici per l’applicazione a stabilire se il calcolo aggiuntivo è giustificato.