MemeTrace: un agente basato su LLM multimodale per l’analisi della provenienza dei meme che tiene conto della sicurezza

Abstract degli autori

I meme online veicolano spesso contenuti non sicuri, come disinformazione e propaganda. La loro rapida evoluzione in risposta agli eventi di attualità e la forte dipendenza dalle informazioni di contesto rendono difficile per le piattaforme e i moderatori individuarli e moderarli efficacemente. Inoltre, gli studi esistenti sulla moderazione classificano di norma i meme come sicuri o non sicuri sulla base di singole immagini, senza riuscire a condurre un’analisi più ampia della loro provenienza: da dove ha origine un meme, come si diffonde, quale simbologia culturale rappresenta, se comporta potenziali rischi per la società e così via. Per colmare questa lacuna, presentiamo MemeTrace, un agente basato su LLM multimodale che ricostruisce automaticamente la provenienza e i potenziali rischi dei meme emergenti. Valutiamo MemeTrace su Meme100, un dataset di 100 meme reali, usando sia annotazioni umane sia metriche automatiche. I risultati mostrano che MemeTrace supera nettamente la baseline VLM. Ancora più importante, MemeTrace raggiunge una maggiore accuratezza nell’individuare i meme non sicuri, soprattutto quelli che contengono disinformazione e contenuti sensibili, e mantiene la propria robustezza anche in presenza di perturbazioni visive.