用于跨数据集情感识别的统一生理信号交互网络

《IEEE Transactions on Cognitive and Developmental Systems》：A Unified Physiological Signal Interaction Network for Cross-Dataset Emotion Recognition

情绪识别在情感计算中仍具挑战性，本研究提出融合多模态生理信号交互网络与图神经网络的方法。通过五种功能连接性方法（皮尔逊相关系数、最大信息系数、相位锁定值、相位延迟指数、时延稳定性）构建生理网络，结合波形特征输入图注意力网络（GAT）和图同构网络（GIN）进行情绪分类。在DEAP数据集训练后，MAHNOB-HCI数据集测试显示，TDS基线GAT/GIN模型对唤醒（83.38%）和价值（82.52%）的F1分数显著优于传统SVM、CNN及标准图卷积网络，验证了动态信号耦合与多模态生理数据融合的有效性。

　　

摘要：

情绪识别在情感计算中仍然是一项具有挑战性但又至关重要的任务，它涵盖了从心理学到人机交互等多个领域。本研究提出了一种新的方法，通过将多模态生理信号交互网络与图神经网络相结合来提高情绪识别的准确性。我们探讨了五种用于构建生理信号网络的无向功能连接性方法：皮尔逊相关系数、最大信息系数、相位锁定值、相位滞后指数以及时间延迟稳定性（TDS）。这些方法能够捕捉脑电图（EEG）特征波形与外围信号（心电图、呼吸和皮肤电导）之间的关系。将构建出的生理信号网络与提取的波形特征结合后，输入到图注意力网络（GATs）和图同构网络（GINs）中进行情绪分类。我们的模型在DEAP数据集上进行了训练，并在MAHNOB-HCI数据集上进行了测试，以评估其泛化能力。基于TDS的GAT和GIN模型在识别唤醒状态和情感价值状态方面表现出优于传统分类器（如支持向量机、卷积神经网络和标准图卷积神经网络）的性能。具体而言，所提出的方法在跨数据集情绪识别任务中取得了出色的准确率：唤醒状态的准确率为83.38%，情感价值状态的准确率为82.52%。这些结果强调了结合动态信号耦合和多模态生理数据对于提高情绪识别准确性和鲁棒性的重要性，凸显了该方法在实际应用中的潜力。

引言

情绪与认知之间的复杂心理和神经机制使得两者之间存在相互依存的关系。情绪可以通过影响记忆、注意力和创造力来影响认知，其中情绪唤醒和情感价值在认知过程中起着关键作用；反之，认知也可以通过评估刺激和理解情绪调节来影响情绪，从而影响情绪健康[1]。研究表明，以情绪为导向的评估和干预方法对认知疾病的诊断和治疗具有积极效果[2]。因此，准确识别情绪状态为早期筛查认知障碍提供了一种新的有效方法。