基于循环自适应对抗迁移网络的跨主题情感识别

《Neural Networks》：Cross-Subject Emotion Recognition with Loop Adaptive Adversarial Transfer Network

跨主体情绪识别研究提出基于对抗域适应和半监督学习的LATN方法，通过结构感知关联对齐增强源目标嵌入一致性，内外积组合策略优化多模态特征提取，伪标签筛选缓解负迁移。实验在ECPL、DEAP、SEED数据集上验证，三分类准确率达96.33%，二元分类精度89.21%和76.12%，优于现有算法

　　情绪识别技术在现实生活中的应用前景广阔，特别是在构建情感脑机接口（aBCI）方面。随着可穿戴式脑电图（EEG）采集设备的普及，EEG信号因其高时间分辨率和客观性，近年来被广泛应用于情绪识别领域。然而，不同个体之间在情绪相关EEG信号上存在显著的差异性，这种差异性主要来源于个体脑结构、功能以及情绪表达方式的不同。因此，基于特定个体数据的情绪识别模型难以满足复杂且多变的实际应用场景，其模型的鲁棒性也面临严峻挑战。

为了克服这一问题，研究人员一直在探索如何构建具有广泛泛化能力的跨个体情绪识别模型。传统的跨个体情绪识别算法在处理数据分布差异方面存在局限性，例如在面对复杂的多模态数据结构时，可能无法准确提取关键特征，从而影响识别性能。此外，现有方法在使用多源数据解决跨个体问题时，往往缺乏明确的数据筛选机制，导致数据分布差异增大，进而引发负迁移现象。因此，开发一种能够有效处理跨个体情绪识别问题的新方法成为迫切需求。

本文提出了一种名为“循环自适应对抗迁移网络”（Loop Adaptive Adversarial Transfer Network, LATN）的创新方法，旨在提升跨个体情绪识别的性能。LATN融合了对抗域适应（Adversarial Domain Adaptation）和半监督学习（Semi-Supervised Learning, SSL）技术，通过结构感知关联对齐（Structure-aware Associative Alignment, SAA）、内积与外积组合策略（Inner and Outer Product Combination Strategy, IOPC strategy）以及基于SSL的伪标签方法，构建了一个统一的框架。该框架能够在不依赖目标域标签信息的情况下，实现源域与目标域之间的联合分布匹配，从而有效应对跨个体识别中的数据分布差异问题。

在方法设计上，SAA通过增强源域和目标域嵌入的一致性，减少数据分布之间的差异。具体来说，SAA能够识别源域和目标域之间的共享特征空间，并通过结构感知的方式对齐源域和目标域的特征表示，从而提升模型的泛化能力。与此同时，IOPC策略则用于捕捉数据中的多模态信息，解决决策边界模糊的问题。该策略能够适应源域和目标域的联合分布，使得同一类别的源域和目标域特征在特征空间中保持接近，而不同类别的特征则保持分离，从而提升分类的准确性。

此外，LATN还引入了一种基于SSL的伪标签方法，用于提升模型的泛化能力。该方法通过更合理地选择伪标签，使得伪标签更加可信、多样且具有代表性。同时，对源域数据进行筛选，去除多模态数据中的异常值，并保留一定数量的引导样本，从而避免负迁移现象。通过多次迭代优化，LATN能够进一步提升模型的识别性能。

在实验验证方面，本文使用了公开的情感数据集DEAP、SEED以及私有数据集ECPL进行评估。实验结果表明，LATN在ECPL数据集上的三分类准确率为96.33%，在DEAP数据集上的二分类准确率分别为唤醒度（arousal）89.21%和愉悦度（valence）76.12%，在SEED数据集上的三分类准确率为94.34%。这些结果表明，LATN在多个数据集上的表现均优于现有算法，具有领先的技术优势。

进一步分析发现，LATN方法在跨个体情绪识别中表现出较强的适应性和稳定性。相比传统的支持向量机（SVM）等分类器，LATN在处理数据分布差异方面具有更高的鲁棒性，能够有效减少因数据分布不一致导致的模型性能下降。同时，通过引入对抗域适应技术，LATN能够在源域和目标域之间建立更紧密的联系，使得模型能够更好地适应目标域的数据特征。

在实际应用中，情绪识别技术不仅需要准确提取情绪相关的特征，还需要有效处理跨个体的泛化问题。因此，LATN方法的提出为解决这一难题提供了新的思路。该方法通过结构感知关联对齐、内积与外积组合策略以及伪标签技术，构建了一个高效的跨个体情绪识别框架。通过这些技术的结合，LATN能够在不依赖目标域标签的情况下，实现对源域和目标域数据的联合分布匹配，从而提升模型的泛化能力和识别准确性。

此外，本文还对实验设计进行了详细说明。实验参与者包括24名年龄在20-30岁之间的个体，其中15名女性和9名男性，右利手，具备正常的视听功能，且在身体和心理健康方面无异常。所有参与者均非心理学专业学生，并且在实验前未参与过任何与情绪相关的实验。实验过程中，使用情感视频作为刺激手段，引导参与者产生积极、中性和消极的情绪状态，从而收集情绪相关的EEG数据。

在实验结果部分，本文展示了LATN在ECPL数据集上的性能表现。实验结果显示，LATN在该数据集上的三分类准确率达到了96.33%，并且其标准差仅为5.62%，表明该方法在不同个体之间具有较强的稳定性。此外，相比传统的域适应算法（Domain Adaptation Network, DAN），LATN在处理实例级别的迁移学习任务时表现出更好的适应性，能够有效减少因数据分布差异导致的模型性能波动。

通过进一步分析，本文还探讨了LATN方法在跨个体情绪识别中的理论意义。首先，SAA能够促进同一类别内特征的聚合，增强源域和目标域嵌入的一致性，从而减少训练分布与测试分布之间的差异，提升模型的泛化能力。其次，IOPC策略能够捕捉数据中的多模态信息，使得源域和目标域在联合分布下保持一致，从而提高分类的准确性。最后，基于SSL的伪标签方法能够通过更合理地选择伪标签，提升模型的泛化能力，同时避免因数据筛选不当导致的负迁移现象。

综上所述，本文提出了一种全新的跨个体情绪识别方法LATN，该方法在结构感知关联对齐、内积与外积组合策略以及伪标签技术方面进行了创新。通过这些技术的结合，LATN能够有效应对跨个体情绪识别中的数据分布差异问题，提升模型的泛化能力和识别准确性。实验结果表明，LATN在多个数据集上的表现均优于现有算法，具有显著的技术优势。因此，该方法在实际应用中具有广阔的发展前景，能够为构建更加智能和高效的情感脑机接口提供理论和技术支持。