Strati finali variazionali di Gibbs per apprendere dinamiche a lungo orizzonte

Abstract degli autori

Previsioni probabilistiche accurate a lungo orizzonte dei sistemi dinamici sono un prerequisito per prendere decisioni basate su modelli. Gli strati finali bayesiani variazionali (VBLL) sono una classe di modelli interessante per questo contesto: permettono di trattare l’incertezza con costi prossimi a quelli deterministici, ma vengono addestrati esclusivamente con obiettivi di verosimiglianza a un solo passo, che potrebbero non bastare per ottenere rollout multi-step affidabili. Riconsideriamo i VBLL alla luce dell’inferenza variazionale di Gibbs, che disaccoppia l’inferenza a posteriori dalla scelta della funzione di perdita usata per l’addestramento. Sulla base di questa prospettiva, introduciamo una famiglia di funzioni di perdita multi-step che incorporano progressivamente la struttura a lungo orizzonte, la robustezza attraverso i continuous ranked probability score (CRPS) e l’addestramento su rollout autoregressivi completi. Il nostro approccio conserva la semplicità dei VBLL e ottimizza direttamente la qualità delle previsioni multi-step. In ambienti sintetici illustrativi, in un’ampia varietà di sistemi dinamici caotici e su dati del mondo reale, mostriamo che gli obiettivi multi-step basati sui CRPS migliorano notevolmente l’accuratezza a lungo orizzonte e l’aderenza delle distribuzioni, superando con costanza l’addestramento con verosimiglianza a un solo passo.