ConsMSA: apprendimento della coerenza della distribuzione semantica per l’analisi multimodale del sentiment

Abstract degli autori

L’analisi multimodale del sentiment (MSA) mira a prevedere i sentimenti umani integrando segnali provenienti da modalità diverse, come testo, video e audio. Tuttavia, le sequenze multimodali grezze presentano spesso incoerenze semantiche — con ridondanze o conflitti all’interno delle modalità e tra di esse — che ostacolano una comprensione robusta e aumentano i costi computazionali. A tal fine, presentiamo ConsMSA, che formalizza esplicitamente la coerenza della distribuzione semantica sia $\textit{intra}$- sia $\textit{inter}$-modale, fornendo un meccanismo consapevole della coerenza per una previsione multimodale del sentiment robusta ed efficiente. In particolare, ConsMSA proietta le caratteristiche dei token multimodali in uno spazio condiviso del sentiment per calcolare un punteggio di coerenza intra- e intermodale ($I^2CS$). Combinando questo punteggio con la rilevanza predittiva, formuliamo segnali di importanza consapevoli della coerenza, utilizzati: (i) come regolarizzatore di coerenza per allineare le distribuzioni latenti durante l’addestramento; (ii) per ricavare pesi consapevoli della semantica, così da ripesare adattivamente i token multimodali; e (iii) come criterio pratico per eliminare i token ridondanti o conflittuali. Esperimenti approfonditi su CMU-MOSI, CMU-MOSEI e CH-SIMS dimostrano che ConsMSA raggiunge prestazioni allo stato dell’arte, mantenendo la robustezza anche in caso di compressione aggressiva dei token: conservandone solo il 10%, si ottiene un’accuratezza comparabile. Questi risultati indicano che la coerenza della distribuzione semantica è una base promettente per coniugare robustezza predittiva ed efficienza computazionale.