基于层次动态图卷积网络的可解释性模型，用于基于脑电图（EEG）的情感识别

《IEEE Transactions on Neural Networks and Learning Systems》：Hierarchical Dynamic Graph Convolutional Network With Interpretability for EEG-Based Emotion Recognition

情绪识别中基于EEG信号的多层次动态图卷积网络研究，提出HD-GCN方法通过分层动态GCN和辅助信息模块捕捉EEG信号的多维特征与拓扑关系，在SEED和DREAMER数据集上显著优于现有GCN-only方法，并揭示关键脑区与电极对。

　　

摘要：

图卷积网络（GCNs）在基于脑电图（EEG）的情绪识别中表现出强大的能力，能够学习EEG通道之间的拓扑关系。然而，大多数现有的仅使用GCN的方法都采用单一的空间模式，缺乏对局部功能区域内部连接性的增强，并忽略了EEG原始数据的数据依赖性。在本文中，提出了一种分层动态GCN（HD-GCN），以探索EEG通道之间的动态多层次空间信息，并利用EEG信号的区分性特征作为辅助信息。具体来说，拓扑空间中的表示学习包括两个分支：一个用于提取全局动态信息，另一个用于探索局部功能区域中的增强信息。在每个分支中，都使用逐层邻接矩阵来增强GCN的表达能力。此外，还开发了一个数据依赖的辅助信息模块（AIM），以捕获多维融合特征。在两个公共数据集——上海交通大学情绪EEG数据集（SEED）和DREAMER上的广泛实验表明，所提出的方法一致性地优于现有的最先进方法。对所提出模型进行了可解释性分析，发现了与情绪相关的活跃脑区和重要电极对。

引言

情绪识别在心理健康评估和情感人机交互中起着关键作用。个体情绪由主观体验、外部表现和生理唤醒组成[1]，这些因素会影响外部行为和内部生理信号。因此，可以通过外部和内部生理信号来识别个体的情绪[2]。近年来，人们越来越重视利用外部行为信号进行情绪识别，包括面部表情[3]、[4]、语音表达[5]、[6]和人体姿态[7]、[8]。然而，非生理信号容易被伪装，因此在情绪表达障碍患者中很难检测情绪。相比之下，内部生理信号可以反映个体所表达的潜在情绪。这些信号包括脑电图（EEG）[9]、肌电图（EMG）[10]、心率变异性（HRV）[11]、心电图（ECG）[12]等，它们对应于来自中枢神经系统和自主神经系统的多通道记录。其中，EEG信号具有无创性、操作方便和便携性的特点。因此，EEG信号非常适合用于情绪识别任务，并在近年来受到了广泛关注和研究[13]、[14]、[15]。