HRIL: apprendere la sinergia multimodale attraverso la modellazione di tensori di ordine superiore

Abstract degli autori

L’apprendimento autosupervisionato di rappresentazioni multimodali ha ottenuto risultati notevoli in diversi ambiti, ma catturare le informazioni sinergiche resta difficile per la complessità delle interazioni tra modalità. A differenza delle informazioni condivise tra le singole modalità, la sinergia emerge quando i segnali rilevanti per un compito derivano soltanto dalla configurazione congiunta di più modalità e non possono essere ricavati da nessuna di esse considerata isolatamente. Questo lavoro si concentra su come preservare, nelle rappresentazioni multimodali, la capacità informativa necessaria a catturare tali segnali sinergici. L’osservazione centrale è che le informazioni sinergiche si riflettono nella dipendenza statistica di ordine superiore tra le modalità, che offre un obiettivo fondato per modellare esplicitamente le interazioni congiunte. Partendo da questa osservazione, proponiamo Higher-order Representation and Information Learning (HRIL), che costruisce un tensore empirico dei momenti incrociati degli embedding delle modalità per rappresentare le interazioni tra più modalità. HRIL impiega la decomposizione di Tucker per ottenere un tensore centrale, affiancata da un regolarizzatore che tiene conto della sinergia, impedisce la concentrazione dell’energia e preserva la capacità di accoppiamento di ordine superiore necessaria a catturare le informazioni sinergiche. Gli esperimenti su un compito di sinergia in condizioni controllate e su benchmark del mondo reale mostrano miglioramenti costanti rispetto ai metodi contrastivi multimodali esistenti, con progressi particolarmente evidenti nei compiti dominati da interazioni sinergiche. Il codice è stato reso pubblico all’indirizzo https://github.com/brightest66/HRIL.