Marformer: un Transformer per prevedere le distribuzioni dei dati mancanti

Abstract degli autori

Le decisioni reali si prendono con informazioni incomplete. Se osserviamo solo alcune delle variabili casuali di cui abbiamo bisogno, possiamo prevedere le altre. Le \textbf{marginali condizionate} delle variabili mancanti sono l’elemento chiave per calcolare il rischio di Bayes e il valore dell’informazione (VOI), cioè il guadagno atteso dall’acquisire un’ulteriore osservazione prima di decidere. Presentiamo Marformer, un Transformer addestrato a prevedere direttamente le marginali condizionate a partire da un qualsiasi insieme di valori osservati. Come BERT, addestrato a prevedere le parole mancanti dal contesto, Marformer costruisce una rappresentazione vettoriale nascosta per ogni distribuzione $p(X_i)$ e la affina iterativamente prestando attenzione alle altre distribuzioni $p(X_j)$. A differenza degli approcci generativi, Marformer non modella l’intera distribuzione congiunta, non richiede conoscenze specifiche sul processo che genera i dati e produce tutte le previsioni in un’unica passata in avanti. Lo valutiamo in tre ambiti sintetici con dati mancanti---reti bayesiane, gaussiane multivariate discretizzate e dati di annotazione strutturati. Marformer raggiunge prestazioni pari o superiori a quelle dei metodi classici per i dati mancanti, anche quando a questi ultimi vengono fornite la vera famiglia di modelli e la distribuzione a priori che hanno generato i dati sintetici. Lo valutiamo anche su un dataset reale di annotazioni, dove Marformer supera i metodi di riferimento valutati con la quantità più ampia di dati di addestramento. In entrambi i casi, Marformer è notevolmente più veloce dei metodi generativi di riferimento valutati.