Stima dell’informazione mediante diffusione discreta

Abstract degli autori

Le misure della teoria dell’informazione, come l’informazione mutua (MI), sono fondamentali per comprendere le relazioni non lineari tra variabili casuali e trovano ampio impiego nelle discipline scientifiche. Il loro utilizzo con dati discreti del mondo reale, tuttavia, resta difficile. I metodi esistenti in genere incorporano i dati discreti in uno spazio continuo e applicano stimatori neurali originariamente progettati per distribuzioni continue. Questo processo richiede un’attenta progettazione sia del modello di embedding sia dell’architettura dello stimatore, ma presenta problemi legati all’elevata dimensionalità dei dati. In questo lavoro presentiamo InfoSEDD, un approccio basato sulla diffusione discreta che collega la stima basata sulla teoria dell’informazione alla modellazione generativa, consentendo di usarle per calcolare le divergenze di Kullback-Leibler. Fondato sui principi della teoria delle catene di Markov a tempo continuo, InfoSEDD ha una struttura leggera e scalabile e si integra facilmente con modelli preaddestrati. Mostriamo la versatilità del nostro approccio applicandolo alla scoperta di motivi nei dati sui promotori genetici, alla selezione dei modelli sensibile alla semantica nella sintesi dei testi e alla stima dell’entropia nei modelli di Ising. Infine, costruiamo test di coerenza su dati testuali e genomici del mondo reale. I nostri esperimenti dimostrano che InfoSEDD supera le alternative basate sul «trucco dell’embedding». I risultati indicano che InfoSEDD è uno strumento robusto e scalabile per l’analisi di dati discreti basata sulla teoria dell’informazione.