Quando fidarsi della memoria: previsioni spaziotemporali probabilistiche guidate dal recupero in presenza di variazioni della distribuzione

Abstract degli autori

Le previsioni spaziotemporali svolgono un ruolo importante nelle applicazioni reali, dove gli approcci probabilistici forniscono stime dell’incertezza utili alle decisioni. I sistemi reali sono intrinsecamente non stazionari, e questo provoca variazioni della distribuzione tra i dati di addestramento e quelli di test. Tuttavia, i metodi probabilistici esistenti si concentrano soprattutto sulla modellazione delle distribuzioni dei dati in condizioni standard, mentre i metodi per affrontare le variazioni della distribuzione spesso le trattano in modo grossolano, senza caratterizzarne l’entità né adattare di conseguenza la strategia di previsione. Di conseguenza, producono spesso previsioni mal calibrate e inaffidabili. Per affrontare questo problema, proponiamo REMIND, un framework probabilistico guidato dal recupero per le previsioni spaziotemporali in presenza di variazioni della distribuzione. REMIND sfrutta il recupero per stimare quanto i pattern storici supportino l’osservazione corrente, consentendo di adattare le previsioni a variazioni di diversa entità. Usa il recupero spaziotemporale per costruire una banca di memoria e introduce un’architettura a due rami: uno probabilistico calibrato sulla memoria per le variazioni lievi e uno probabilistico sensibile alle deviazioni per quelle marcate. Un meccanismo di selezione adattivo, guidato dalla similarità nel recupero e dalla dispersione della memoria, bilancia i due rami in base all’entità della variazione. Progettiamo inoltre una miscela gaussiana gerarchica per rappresentare l’incertezza eterogenea associata alle previsioni dei due rami e introduciamo uno schema di addestramento basato sulla perturbazione della memoria per migliorare la capacità di generalizzazione. Esperimenti su dataset reali soggetti a variazioni della distribuzione mostrano che REMIND supera sistematicamente i metodi più avanzati sia nell’accuratezza delle previsioni sia nella qualità delle previsioni probabilistiche.