Direct Message Approximation (DMA): un framework basato sulla consistenza per un’inferenza approssimata trattabile sui grafi fattoriali

Abstract degli autori

Il passaggio approssimato di messaggi sui grafi fattoriali è alla base di due famiglie dominanti di algoritmi di inferenza probabilistica: l’expectation propagation (EP) e il variational message passing (VMP). Entrambi i metodi approssimano la marginale su ciascun arco del fattore, imponendo una pianificazione iterativa a rotazione, con il rischio di messaggi a precisione negativa e, nel caso del VMP, di collassare a stime puntuali in corrispondenza dei fattori delta di Dirac. Introduciamo la Direct Message Approximation (DMA), che approssima direttamente i messaggi dai fattori alle variabili anziché la marginale. Per i fattori normalizzabili, definiamo una condizione di consistenza, che richiede l’esattezza quando tutti gli altri messaggi in entrata sono delta di Dirac, per guidare la costruzione dei messaggi. Dimostriamo un teorema generale che, per messaggi propri e grafi di qualunque forma, pone un limite alla KL della marginale in funzione della KL dei messaggi, con tre corollari strutturali: consistenza con input delta di Dirac, assenza di iterazioni interne come nell’EP e assenza di messaggi a precisione negativa. Dimostriamo inoltre una garanzia complementare di $O(1/r^2)$ per il messaggio all’indietro intrinsecamente improprio del fattore prodotto, il cui trattamento in forma chiusa ha resistito ai tentativi precedenti. Come applicazione concreta, ricaviamo messaggi DMA espliciti per i fattori prodotto e leaky-ReLU e assembliamo un algoritmo di inferenza per reti neurali bayesiane (BNN), con un unico passaggio in avanti e all’indietro per ogni esempio di addestramento e senza iperparametri del tasso di apprendimento del gradiente; verifichiamo così che le garanzie strutturali si traducono in un’incertezza predittiva che aumenta nelle regioni con pochi dati, anche in presenza di discrepanze del modello.