Echi dell’errore: consistenza locale del rollout lungo la direzione residua per la previsione di serie temporali

Abstract degli autori

Nella previsione delle serie temporali, gli errori di rollout non sono semplici discrepanze di adattamento a un solo passo: una volta reimmessi nello stato in evoluzione, possono perturbare le previsioni future. Formalizziamo questo effetto attraverso la consistenza locale del rollout, che confronta la previsione successiva prodotta con il teacher forcing con quella prodotta in esecuzione libera. In linea di principio, è possibile imporre direttamente questa consistenza monitorando la perturbazione dello stato successivo indotta dal residuo. In pratica, però, l’operatore di allineamento residuo-stato è spesso difficile da progettare quando lo stato in ingresso e il blocco in uscita hanno dimensioni diverse, componenti eterogenee o configurazioni dipendenti dall’architettura. Usiamo quindi un surrogato locale del primo ordine che penalizza il prodotto Jacobiano-vettore del predittore lungo la perturbazione effettiva del feedback, sopprimendo proprio le direzioni attraverso cui gli errori generati dal modello restano visibili alle previsioni future. Diamo inoltre alla stessa funzione di perdita un’interpretazione geometrica in prossimità di una varietà predittiva: controllando le direzioni indotte dal residuo che sondano il fibrato normale, l’obiettivo produce condizioni teoriche in base alle quali le traiettorie in esecuzione libera restano all’interno di un tubo di stabilità attorno alla varietà. Gli esperimenti su compiti di previsione di serie temporali avvalorano questa interpretazione e mostrano che la regolarizzazione proposta migliora l’accuratezza predittiva. Più in generale, i nostri risultati suggeriscono un principio di addestramento per i modelli di previsione delle serie temporali e i predittori sequenziali: un modello non dovrebbe limitarsi a commettere pochi errori a un solo passo, ma dovrebbe anche imparare a non lasciare che i propri errori si ripercuotano nel futuro. Il codice è disponibile su https://github.com/Wangzzzzzzzz/Echoes-Of-Error.