基于外部知识与对比驱动特征增强的多模态假新闻检测模型EC-Fake研究

【编辑推荐】本研究提出EC-Fake模型，通过语义信息解耦模块（SID）分离新闻图像的前景主体与背景上下文，结合大语言模型（LLM）提取外部知识，采用对比驱动特征增强方法提升多模态融合效果。实验表明，该模型在三个公开数据集上准确率较现有最优模型提升1.9%-2.7%，为社交媒体假新闻检测提供了可解释性强的新范式。

　　

亮点

单模态假新闻检测

单模态假新闻检测主要聚焦于处理信息流中单个或多个文本的分类问题。早期方法依赖于直观的显式特征，如构建特征词、分析文本情感、提取主题或挖掘写作风格。例如，Castillo等人利用语言特征（如词频和情感极性）进行检测。

方法论

如图2所示，EC-Fake模型分为四个步骤：

1. 使用ResNet-50提取新闻图像的多层次特征向量（f₁, f₂, f₃, f₄），同时通过RoBERTa嵌入文本；

2. 利用大语言模型（LLM）从新闻中提取实体，并从Wikidata检索其描述作为外部知识；

3. 通过语义信息解耦模块（SID）分离图像的前景主体与背景上下文，指导多级特征融合；

4. 采用对比驱动特征增强方法优化跨模态语义对齐，最终输出检测结果。

数据收集

实验选用Twitter、Weibo和CFND三个公开多模态数据集。Twitter数据集包含6000条假新闻和5000条真新闻作为训练集，测试集含2000条突发新闻；Weibo数据集聚焦中文社交媒体；CFND则整合了更丰富的跨模态矛盾样本。

结论

EC-Fake通过对比实验证明其在多模态假新闻检测中的卓越性能。消融实验显示，SID模块和外部知识融合分别使准确率提升1.2%和0.8%。该模型为理解跨模态语义矛盾提供了新视角，未来可扩展至视频等复杂模态分析。

作者贡献声明

Mingxing Han：负责综述撰写、实验验证及方法论设计；Jiaxuan Li参与模型构建与论文起草；Yu Chen和Lingling Tao提供理论指导；Liwei Xu负责学术规范审查。

利益冲突声明

所有作者声明无财务或个人利益冲突，研究结果均属原创。

致谢

感谢中国国家自然科学基金（72301060）、辽宁省教育厅基础科研项目（JYTMS20230666）等资助。

作者简介

Mingxing Han，东北林业大学计算机技术硕士，现为南京大学博士生，研究方向为自然语言处理与多模态分析。