Una connessione skip dall’input può riparametrizzare un VAE senza migliorare il generatore

Abstract degli autori

Una connessione skip dall’input può ridurre l’errore di ricostruzione senza modificare la distribuzione dei nuovi campioni generati dal modello. Per un autoencoder variazionale (VAE) gaussiano con una connessione skip dall’input costante $0\leqα<1$, un modello senza connessione skip può essere espresso in forma con skip moltiplicando l’output del decoder per $b=1-α$ e la varianza del rumore per $b^2$. La distribuzione delle osservazioni e delle variabili latenti e i punteggi generativi esatti restano invariati, mentre l’errore quadratico medio (MSE) di ricostruzione viene moltiplicato per $b^2$. Addestrare i modelli separatamente può produrre generatori diversi, perché l’ottimizzazione dipende dalle coordinate dei parametri. In un esperimento gaussiano con densità nota, modificare insieme la connessione skip e la varianza delle osservazioni riduce l’MSE, ma peggiora l’energy score e la stima della log-densità negativa ottenuta mediante importance sampling. Su sette registrazioni annuali del Deep-ocean Assessment and Reporting of Tsunamis (DART), a parità di varianza delle osservazioni, le differenze nell’energy score hanno entrambi i segni per quattro registrazioni originali e favoriscono la connessione skip per tre registrazioni del 2018. L’analisi probabilistica delle componenti principali (PPCA) ottiene energy score medi inferiori a quelli di tutti i modelli neurali addestrati sui dati DART. Anche mantenendo invariati l’encoder e il decoder, stimare la varianza delle osservazioni a partire dall’errore di ricostruzione sui dati di addestramento può peggiorare l’energy score. Per valutare la generazione non basta l’errore di ricostruzione.