基于混合注意力机制的EEG-视觉跨模态对齐与融合在情感识别中的应用

《Cognitive Neurodynamics》：Cross-modal alignment and fusion of EEG-visual based on mixed attention mechanism for emotion recognition

跨模态情绪识别通过融合EEG高频信号与视觉特征提升准确率，采用混合注意力机制实现模态对齐与协同，实验表明Gamma-视觉融合平均准确率达96.49%，并在SEED-IV数据集验证了泛化能力。

　　

摘要

人类情绪的变化通常伴随着多种生理或外部刺激的变化。融合这些多模态信息可以提高情绪识别的准确性。然而，由于当前的多模态情绪识别算法没有考虑模态之间的同步性，导致信息的不匹配影响了情绪识别的准确性。为了解决这些问题，本文提出了一种基于混合注意力机制的脑电图（EEG）-视觉跨模态对齐与融合模型（CMAF）用于情绪分类。该模型利用了EEG信号五个频段的差分熵（DE）特征和视觉模态的10个颜色特征进行跨模态情绪识别。跨模态对齐模块通过多头注意力机制提取关键信息，并在损失函数的约束下提高两种模态之间的相似性。设计了一个交叉注意力模块，利用视觉模态来指导EEG信号的特征提取，并建立两种模态之间的相关性以实现模态融合。支持向量机（SVM）用于对SEED数据集中不同情绪状态提取的特征进行分类。实验结果表明，融合高频EEG和视频特征显著提高了识别准确性，其中Gamma-视觉融合的平均准确率为96.49%。为了进一步评估模型的泛化能力，我们引入了SEED-IV数据集，并在受试者相关和不受试者相关的两种设置下对模型进行了评估。结果表明，该模型在多种数据源上始终保持了稳定的性能，凸显了其鲁棒性和泛化潜力。