Sfruttare i gradienti nell’inferenza bayesiana con simulatori costosi

Abstract degli autori

I simulatori basati su equazioni differenziali sono onnipresenti nella scienza e nell’ingegneria. Vengono spesso impiegati nell’inferenza basata su simulazioni per valutare la distribuzione a posteriori dei parametri di ingresso sulla base di osservazioni reali delle uscite del simulatore. L’inferenza diventa però difficile quando ogni esecuzione del simulatore è computazionalmente costosa. In questi casi, per massimizzare le informazioni ottenute con un budget limitato di simulazioni, è stato utilizzato un approccio di apprendimento attivo basato sull’ottimizzazione bayesiana, con modelli surrogati a processi gaussiani. Di recente, i gradienti delle uscite del simulatore rispetto ai parametri di ingresso sono diventati sempre più disponibili, ma vengono raramente sfruttati per l’inferenza. Sebbene sia sufficiente apprendere la relazione tra ingressi e uscite del simulatore, le informazioni sui gradienti possono fornire un ulteriore segnale prezioso per orientare la procedura di apprendimento attivo. Questo è particolarmente importante nel caso dei simulatori costosi, per i quali è cruciale ottenere risultati con pochi campioni. In questo articolo mostriamo come l’integrazione delle informazioni sui gradienti nel modello surrogato a processi gaussiani acceleri l’inferenza basata sull’ottimizzazione bayesiana quando il budget di simulazioni è limitato. I nostri risultati mostrano che l’uso delle informazioni sui gradienti migliora notevolmente la velocità di convergenza. Con la differenziazione in modalità inversa, i guadagni in efficienza dell’inferenza si mantengono anche tenendo conto del costo computazionale aggiuntivo. Con la differenziazione in modalità diretta, invece, l’accelerazione dell’inferenza non compensa i costi computazionali. Questi risultati indicano che i modelli surrogati che utilizzano i gradienti sono vantaggiosi soprattutto nei problemi in cui il numero di parametri supera la dimensionalità dell’uscita, nei quali la differenziazione in modalità inversa è efficiente.