Imparare a evolvere abbinando le velocità

Abstract degli autori

Imparare l’evoluzione in tempo continuo dei sistemi dinamici non lineari si basa su obiettivi fondati sulle traiettorie, che richiedono di simulare la dinamica appresa durante l’addestramento e di effettuare la retropropagazione attraverso lo schema numerico, a un costo che cresce con l’orizzonte di simulazione. Mostriamo che gli obiettivi basati sulle traiettorie degenerano all’aumentare dell’orizzonte di simulazione, ostacolando l’ottimizzazione basata sul gradiente, e che lo schema numerico introduce un bias nella dinamica appresa, vincolando lo spettro del Jacobiano appreso alla sua regione di stabilità assoluta. Per superare questi limiti, introduciamo Velocity Matching (VM), un obiettivo che non richiede simulazioni e si basa sull’interpolazione lineare a tratti e sulla collocazione stocastica, approssimando al secondo ordine, rispetto al passo di campionamento, il rischio di popolazione relativo alla velocità. Sviluppiamo un quadro teorico per l’apprendimento basato sulla velocità, introducendo stime di stabilità che controllano gli errori sulle traiettorie in funzione degli errori sulle velocità. Queste stime ci permettono di stabilire risultati di approssimazione universale e in tempo continuo quando il campo di velocità appreso è parametrizzato da reti neurali profonde. Basandoci su una decomposizione bias-varianza dell’obiettivo VM, mostriamo che la sua approssimazione di ordine superiore del rischio di popolazione relativo alla velocità produce un minimizzatore consistente; che è legato al residuo di uno schema di Runge-Kutta A-stabile a stadi continui, collegando così VM all’integrazione implicita senza richiedere alcuna risoluzione implicita; e che allinea implicitamente l’azione del Jacobiano appreso a quella del Jacobiano vero lungo le traiettorie osservate, senza richiedere l’accesso al campo di velocità sottostante né al suo Jacobiano. Esperimenti numerici su equazioni differenziali ordinarie non lineari ed equazioni alle derivate parziali dipendenti dal tempo semidiscretizzate mostrano che VM migliora l’accuratezza rispetto agli obiettivi basati sulle traiettorie, evitando al contempo sia il costo delle simulazioni sia le instabilità delle simulazioni su orizzonti lunghi.