Reti neurali con strati di funzioni di credenza differenziabili

Abstract degli autori

La regola di combinazione di Yager del 1987, $\boxplus$, fu proposta su basi epistemiche: in condizioni di forte conflitto, la massa dovrebbe essere redistribuita all’ignoranza anziché rinormalizzata sul simplesso delle classi. Osserviamo che la retropropagazione richiede la stessa regola: il fattore di normalizzazione di Dempster $(1{-}κ)^{-1}$, dove $κ$ è la massa di conflitto, introduce nel gradiente un termine $(1{-}κ)^{-2}$ che diverge proprio quando le fonti di evidenza sono in disaccordo, mentre $\boxplus$ di Yager è bilineare e non contiene un termine simile. Sulla base di questo, costruiamo una pipeline evidenziale profonda in cui ogni massa della catena, dalle teste all’output, è una funzione di massa di Dempster--Shafer valida, combinata secondo la regola di Yager. La massa dell’output sull’insieme dell’ignoranza, $m(Θ)$, funge da segnale «Non lo so» della rete. La rete viene addestrata su etichette discrete e non vede mai una distribuzione degli annotatori, eppure $m(Θ)$ ordina il disaccordo umano in due modalità, visiva e linguistica. Anche la vacuità di Dempster aumenta e ordina gli input controversi più o meno altrettanto bene, ma il suo fattore di normalizzazione elimina il conflitto: la vacuità di Yager è $9\times$ maggiore nelle immagini più controverse di CIFAR-10H, perciò solo quella di Yager è interpretabile come misura dell’ignoranza senza ricalibrazione. Per il rilevamento fuori distribuzione, è competitiva con forti baseline a singolo passaggio, mentre la variante di Dempster con clamp, che ottiene punteggi più alti, diventa instabile nel gradiente quando il clamp viene rimosso.