多模态虚假信息检测利用语言、视觉和社会特征的早期融合-计算机科学-机器学习-虚假信息检测.pdfVIP

多模态虚假信息检测利用语言、视觉和社会

特征的早期融合

GautamKishoreShahi

UniversityofDuisburg-Essen

Duisburg,Germany

gautam.shahi@uni-due.de

摘要CCSConcepts

在选举和危机期间，社交媒体上充斥着大量虚假信息•Informationsystems→Socialnetworks;•So-

本的浪潮，广泛的研究已经集中在虚假信息检测上，主cialandprofessionaltopics→Usercharacteristics;

译要关注基于文本或基于图像的方法。然而，只有少数•Human-centeredcomputing→Empiricalstudies

研究探索了多模态特征组合，例如整合文本和图像来incollaborativeandsocialcomputing;•Computing

中构建分类模型以检测虚假信息。methodologies→Machinelearning.

1

v本研究调查了不同多模态特征组合的有效性，通

4过早期融合方法将文本、图像和社会特征结合到分类Keywords

8

9模型中。该研究分析了1,529条在COVID-19大流行

1和选举期间从Twitter（现为X）收集的包含文本和图虚假信息，选举，融合技术，多模态分类，Twitter/X

0

7.像的推文。

0应用了一个数据丰富化过程来提取额外的社会特1介绍

5

2征，以及视觉特征，通过技术如对象检测和光学字符

:随着数字技术的发展，人们习惯于在线获取信息，尤

v识别（OCR）。结果显示，结合无监督和有监督机器学

i其是在社交媒体平台上，用户可以验证信息的真实性。

x习模型比单模态模型提高了15%的分类性能，并且与

r依赖社交媒体获取信息和新闻的情况日益增多；然而，

a双模态模型相比提高了5%。此外，该研究还分析了基

如Castells所称的大规模自我传播的兴起可能会带来

于虚假信息推文特性和传播者的特征来判断虚假信息

问题[7]，特别是在选举或危机期间，有影响力的行

的传播模式。

动者（例如政治候选人）会传播未经事实核实的信息

[22]。用户可以在平台上自由地表达自己的想法和观

点而不受任何规定或限制，这可能导致虚假信息的传

播[32]。虚假信息影响其他用户，并使他们开始相信

它是真实的；先前的研究探讨了虚假信息及其对社会

的负面影响[9,12,13]。