MMMMM: una tassonomia unificata per indagare i meccanismi della disinformazione multimodale multilingue

Abstract degli autori

La disinformazione multimodale sui social media è molto diffusa, efficace e dannosa, ma è difficile da individuare e contrastare. Inoltre, resta poco compresa rispetto alla disinformazione basata solo sul testo. La ricerca sulle caratteristiche e sulle strategie ingannevoli della disinformazione multimodale è ostacolata dalla mancanza di tassonomie fondate su contesti reali e dai limiti degli attuali modelli di apprendimento automatico multimodale, che impediscono di automatizzare l’annotazione e l’analisi su larga scala. Affrontiamo questi limiti in tre passaggi. Per prima cosa, raccogliamo da Twitter/X un dataset ampio e di alta qualità di casi reali di disinformazione in sette lingue. In secondo luogo, sviluppiamo una nuova tassonomia completa della disinformazione multimodale, fondata su un’analisi qualitativa approfondita dei dati e sui precedenti lavori teorici. Infine, applichiamo la tassonomia mediante un processo automatizzato di annotazione in più fasi che utilizza un modello visivo-linguistico (VLM), e sottoponiamo i risultati a validazione umana. Il nostro nuovo approccio rivela aspetti finora non documentati del modo in cui gli utenti dei social media combinano immagini e testo per diffondere disinformazione in contesti reali: per esempio, i contenuti generati dall’IA sono particolarmente diffusi negli ambiti della tecnologia e della scienza, mentre la disinformazione sulla vaccinazione utilizza in misura sproporzionata immagini provenienti da testate giornalistiche per apparire credibile. Il nostro metodo e i nostri risultati offrono indicazioni per sviluppare approcci mirati al rilevamento della disinformazione multimodale e suggeriscono che le misure di contrasto dovrebbero essere sviluppate e applicate in modo strategico, anziché uniforme.