Reti neurali bayesiane con distribuzioni a priori basate sul processo di Dirichlet applicate alla distribuzione generatrice dei dati per funzioni di valore randomizzate nell’apprendimento per rinforzo profondo

Abstract degli autori

Le reti neurali bayesiane (BNN) offrono un quadro rigoroso per quantificare l’incertezza epistemica. Tuttavia, le distribuzioni a priori standard nello spazio dei pesi producono distribuzioni a posteriori delle reti neurali complesse e ad alta dimensionalità, dalle quali il campionamento è computazionalmente proibitivo. Inoltre, i metodi più diffusi di inferenza approssimata spesso non riescono a cogliere efficacemente l’incertezza epistemica: un limite particolarmente grave nell’apprendimento per rinforzo (RL) \citep{osband2018randomized}. Per affrontare questa sfida, introduciamo una nuova classe di BNN che quantificano l’incertezza ponendo distribuzioni a priori bayesiane non parametriche basate sul processo di Dirichlet (DP) direttamente sulla distribuzione generatrice dei dati sottostante, anziché sui parametri della rete. Su questa base sviluppiamo DP-DQN, un algoritmo di apprendimento per rinforzo che sfrutta le DP-BNN per mantenere distribuzioni a posteriori sulle funzioni di valore ed effettuare un campionamento di Thompson efficiente. Fondando le funzioni di valore randomizzate sulla statistica bayesiana non parametrica, DP-DQN unifica la riponderazione a posteriori basata sui dati (tramite il bootstrap bayesiano) con ipotesi generative a priori introdotte direttamente attraverso la misura di base del DP. Consente così una risoluta «esplorazione profonda» con una sola rete neurale, senza il sovraccarico degli ensemble di più reti.