基于行为和生理数据的多模态机器学习在欺骗检测中的卓越成果

为解决欺骗检测难题，研究人员开展 CogniModal-D 数据集研究，发现多模态融合提升检测精度。

　　在生活中，谎言无处不在，从个人交往到国家安全、司法审判等重要领域，欺骗行为的存在都可能带来严重后果。传统的测谎仪（polygraphs）虽然应用广泛，但因其在科学、伦理和实际操作方面存在诸多争议，难以满足精准检测欺骗行为的需求。随着科技的发展，机器学习为欺骗检测带来了新的希望，然而现有的相关数据集存在规模小、模态单一，且大多基于非印度人群等问题，无法有效支撑针对印度人群的欺骗检测研究。

为了填补这些研究空白，来自共生国际大学（Symbiosis International Deemed University）的研究人员开展了一项极具意义的研究。他们致力于开发一个全面的多模态数据集 CogniModal-D，用于欺骗检测，并深入探究多模态机器学习在该领域的应用。研究成果发表在《Scientific Reports》上，为欺骗检测领域带来了新的突破。

研究人员主要运用了以下关键技术方法：首先，精心设计并收集了来自 100 多名印度参与者的多模态数据，涵盖脑电图（EEG）、心电图（ECG）、眼电图（EOG）、眼动追踪（Eye-gaze）、皮肤电反应（GSR）、音频和视频七种模态。通过模拟犯罪（Mock crime）和好友场景（Best friend scenario）等任务，让参与者在受控的实验室环境中完成，同时采集相应的多模态数据并进行标注。其次，针对不同模态的数据，采用了一系列数据预处理和特征提取技术，如对 EEG 数据进行坏通道识别、插值、重参考、滤波和去除伪影等操作，提取关键频率带的特征；对音频数据提取零交叉率、频谱质心等频率相关属性。最后，构建并训练了多种单模态机器学习模型，如支持向量机（SVM）、随机森林（Random forest）等，还运用了多模态融合技术，将不同模态的数据进行融合分析，以提高欺骗检测的准确性。

研究结果

1. 单模态模型性能：研究人员对各单模态数据进行分析，结果显示不同模态的检测准确率有所差异。EEG 模态在模拟犯罪场景中使用 XGBoost 分类器时准确率为 53% ，在好友场景中使用支持向量机分类器时准确率为 48.7%，它能揭示与说谎相关的神经模式。EOG 模态的检测准确率仅约 50% 多，其提取的特征无法清晰指示欺骗模式。ECG 模态在模拟犯罪场景中使用随机森林分类器时准确率为 69.4% ，在好友场景中使用 Light GBM 模型时准确率为 63.6%，表明其在欺骗检测中具有一定潜力，因为人说谎时心率通常会增加。音频模态在模拟犯罪场景中准确率为 43% ，在好友场景中为 55%，虽然音频包含多种行为特征，但模型难以区分不同类别的音高变化等特征。视频模态在模拟犯罪场景中的准确率高达 96%，在好友场景中为 74.1%，面部表情是行为的明显指标，说谎时面部表情的变化能清晰反映认知行为。GSR 模态在模拟犯罪场景中准确率为 76% ，在好友场景中为 58%，它能捕捉皮肤电导的变化，与人说谎时出汗的现象相关。眼动追踪（Gaze）模态在模拟犯罪场景中准确率为 64% ，在好友场景中为 63%，为欺骗检测增加了视觉注意力方面的信息。
2. 多模态融合效果：研究人员通过多模态 AI 融合技术，将不同模态的模型结合起来。结果发现，行为模态（音频、视频、眼动追踪、GSR）的融合效果优于神经生理模态（EEG、ECG、EOG）的融合。例如，音频 + 视频 + GSR + 眼动追踪的组合模型比 EEG + ECG + EOG + GSR 的组合模型准确率高出约 15%。此外，多模态融合的结果优于单模态或双模态的结果，如音频、视频、GSR 和眼动追踪的综合多模态融合在模拟犯罪场景中的准确率达到 75% ，在好友场景中达到 79%，使融合模型在欺骗检测任务中更加稳健和准确。

研究结论与意义

研究表明，多模态特征在欺骗检测中具有卓越的辨别能力。行为模式是比神经生理模态更有价值的欺骗检测指标，且多模态融合能够显著提高欺骗检测的性能和准确性，减少误报和漏报。这一研究成果为未来开发强大、可扩展的先进欺骗检测系统奠定了基础，在心理学、神经科学和人机交互等领域具有重要的应用前景。它有助于更深入地理解人类认知过程，为相关领域的研究和实践提供了新的思路和方法。同时，研究人员表示未来将进一步增加模态数量和样本量，结合先进的架构和大语言模型，提升多模态欺骗检测能力，推动该技术向实际应用转化。