《Biomedical Signal Processing and Control》：Research progress on emotion recognition based on electroencephalogram signals
编辑推荐：
EEG情绪识别研究综述：基于深度学习的脑电信号分析方法在情绪分类、特征提取及跨学科应用中的进展，重点探讨EEG信号频段特性、脑区关联机制及CNN、CapsNet等模型在提升分类准确率中的作用，为神经 disorders诊断与人机交互提供理论参考。
Xue Li|Zuojian Yan|Piqiang Gong|Dongmei Lin|Fuming Chen
中国甘肃中医药大学医学信息工程学院生物医学工程系
摘要
情感识别是情感计算（AC）的一个关键子领域，近年来由于其广阔的应用前景和跨学科影响而受到了广泛关注。脑电图（EEG）直接来源于大脑皮层活动，并且不受人为干扰的影响，是一种可靠且客观的情感状态指标。人工智能（AI）的快速发展，尤其是在深度学习（DL）领域，极大地推动了这一领域的发展。深度学习算法，包括卷积神经网络（CNN）、胶囊网络（CapsNet）、循环神经网络（RNN）和混合网络，在基于EEG的情感识别中得到了广泛应用，显著提高了特征提取、时空模式识别和分类的准确性，并有效处理了情感状态的复杂性。此外，EEG情感识别在多个学科中具有重要的跨学科潜力，推动了计算机科学、心理学、神经科学和医学等领域的进步。它在研究及临床评估神经系统疾病（如睡眠障碍、精神分裂症、癫痫和多发性硬化症）方面也展现出巨大潜力。鉴于该领域现有文献较少，本文全面概述了情感建模的基本理论、五个EEG信号频段、不同脑区对情感状态的影响、常用的评估指标以及通过EEG信号识别情感的方法，并分析了深度学习算法在情感识别中的应用，旨在帮助研究人员快速掌握该领域的核心知识，为后续研究提供参考。
引言
便携式和非侵入式人体传感技术的持续进步，以脑机接口（BCI）为例，吸引了来自多学科背景的研究人员的关注，推动了情感识别技术的发展。情感识别是情感计算的一个重要分支。作为人工智能发展的基础组成部分[1]，情感计算对于推动该领域进步至关重要，其目标是使智能系统能够感知、解释、推断并与人类情感互动，从而实现更自然的人机交互（HCI）。其研究成果可促进计算机科学、心理学、神经科学和医学等多个领域的发展。在临床研究中，情感问题可能与多种神经系统疾病相关，例如睡眠障碍[2]、精神分裂症[3]、癫痫[4][5][6]、帕金森病[7]和多发性硬化症[8]。
情感识别方法通常可以分为两类：一类依赖于生理信号，另一类利用非生理信号。后者涵盖了文本数据、语音、视频、行为线索和面部表情等多种来源，以及生理指标。然而，使用非生理信号进行情感识别时，由于人们可能会刻意或无意地隐藏真实情感（这一过程称为社会伪装），其研究结果可能受到限制。与生理信号相比，脑电图（EEG）和心电图（ECG）等生理信号不受这些限制[9]。在情感计算的发展过程中，通过生理信号分析情感状态已成为一个关键的研究方向[10]，而EEG作为测量大脑活动的黄金标准，被认为是识别心理状态的良好指标。
本文从EEG情感识别和分类方法的研究基础出发，详细介绍了相关理论、主要方法及研究进展，并总结了当前存在的问题和未来的挑战。
情感模型
美国心理学家威廉·詹姆斯在1884年曾提出：什么是情感[11]？根据詹姆斯的观点，情感是由某些外部刺激引发的身体反应；例如，你可能会因为心跳加快、血压升高等因素而感到恐惧[12]。心理学家认为，情感是个人对外部事物体验产生的主观态度，是对这些刺激的协调反应。
基于EEG的情感识别过程
过去十年中，基于EEG的情感识别受到了广泛关注。使用EEG进行情感识别需要遵循以下步骤（见图3）。利用EEG信号进行情感识别的深度学习方法研究
近年来，情感计算领域的研究越来越多地转向使用EEG信号进行情感识别。与传统的情感识别方法相比，EEG能够提供更丰富的情感信息，因为它能够直接反映大脑活动。得益于深度学习处理复杂数据的能力，该技术已在基于EEG的情感识别任务中得到广泛应用。评估指标
在情感识别任务中，研究人员通常以准确性作为主要评估指标。对于二元分类任务，准确性根据公式（1）进行计算。其中，真正例（TP）、真负例（TN）、假正例（FP）和假负例（FN）分别表示预测结果正确为正、正确为负、错误为正和错误为负的样本数量。其他
总结与展望
情感识别具有重要的应用价值，对多个领域都至关重要。在人工智能领域，情感识别的主要目标是使机器能够准确识别和理解人类情感，进而模仿人类情感的表达，实现精确的人工智能，并改善人机交互体验[126]。与其他生理信号相比，EEG信号能够提取更丰富的特征。利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。致谢
本项工作得到了国家自然科学基金（61901515, 62361038）、甘肃省自然科学基金（22JR5RA002）以及甘肃省教育厅高校教师创新基金（2023A-019）的资助。
