基于虚拟现实与生理信号的多模态情感诱导数据集：面向情感计算与人机交互研究

本研究通过虚拟现实(VR)环境结合数字人(VH)交互，创新性地构建了包含脑电图(EEG)、血容量脉冲(BVP)、皮肤电反应(GSR)和皮肤温度(TMP)等多模态生理信号的情感诱导数据集。研究人员设计了森林(快乐)和地铁(愤怒)两种虚拟环境，利用28名19-27岁受试者的心理测量问卷(ERQ/SAM等)和生理数据，为情感识别、人机交互(HCI)和情绪调节(ER)研究提供了标准化数据资源，对发展基于生理信号的情感计算系统具有重要意义。

　　

在情感计算与人机交互领域，如何准确识别和量化人类情绪状态一直是重大挑战。传统方法多依赖主观问卷，缺乏客观生理指标；而现有生理信号数据库往往局限于单一模态或简单刺激。更关键的是，数字人(Virtual Human, VH)作为情感诱导媒介的协同效应尚未被系统研究，这种融合社交线索与环境因素的多模态交互，正是新一代智能系统亟需突破的方向。

墨西哥蒙特雷理工学院(Tecnológico de Monterrey)的研究团队在《Scientific Data》发表创新研究，通过精心设计的虚拟现实(VR)实验范式，构建了首个整合数字人交互与多模态生理监测的情感数据集。研究采用HTC VIVE Pro 2系统呈现森林(快乐)和地铁(愤怒)两种虚拟环境，配合专业演员捕捉的VH表情与动作，同步记录28名受试者的脑电图(EEG)、血容量脉冲(BVP)、皮肤电反应(GSR)和皮肤温度(TMP)等信号，并收集情绪调节问卷(ERQ)、自我评估量表(SAM)等心理测量数据。该工作为开发基于多模态融合的情感识别算法提供了标准化基准。

关键技术包括：1)基于Unreal Engine构建具有情绪特异性的虚拟环境；2)使用Vicon和Faceware系统捕捉数字人的微表情与肢体语言；3)无线EEG头戴设备(Unicorn Hybrid Black)与Empatica E4腕带同步采集生理信号；4)EEGLAB工具箱进行信号预处理和独立成分分析(ICA)。

【虚拟现实设计】 研究创新性地将环境设计与数字人表演相结合：森林场景采用高饱和度色彩和开放空间布局，配合VH的杜乡微笑(Duchenne smile)和舒展肢体语言；地铁场景则通过拥挤空间、低照度设计，结合VH的皱眉、握拳等愤怒特征。这种双重诱导策略显著提升了情绪唤醒度，如图10所示，SAM问卷验证了两种情绪在效价维度上的显著差异(p<0.05)。

【生理信号质量】 采用Automagic工具评估显示，预处理后EEG信号的脑源性成分占比达91.4%（表2），其中Pz电极在愤怒场景下的脑成分比例高达98%。GSR和BVP信号在情绪转换时呈现典型相位同步，证实了多模态数据的时间对齐有效性。

【技术验证】 通过ICLabel分类，肌肉和眼动伪迹被有效剔除（保留概率>80%的非脑成分）。图11的五边形雷达图显示，VH在友好度(5.2/7)和真实感(4.8/7)维度获得较高评分，证实了情感传递的有效性。值得注意的是，男性受试者（占71%）对愤怒诱导的生理响应更显著（GSR振幅增加37%）。

这项研究建立了首个整合虚拟人社交线索与环境因素的多模态情感数据库，其创新价值体现在三个方面：首先，标准化实验范式为跨研究可比性提供基准；其次，验证了数字人作为情感诱导媒介的可行性，为人机交互设计提供实证依据；最后，高质量生理信号与丰富元数据的结合，将加速基于机器学习的情感识别算法开发。未来工作可拓展更多情绪类别，并探索个体化情绪调节策略的生理标记物。该数据集已通过Mendeley Data公开（DOI:10.17632/y76wbv92y9），将成为情感计算领域的重要资源。