编辑推荐:
在神经科学研究中,自然主义条件下的情感研究存在诸多局限,如缺乏含详细情感注释的功能性磁共振成像(fMRI)数据集。研究人员开展 Emo - FilM 数据集相关研究,构建了多模态数据集。该数据集对情感神经科学研究意义重大。
在神经科学的发展历程中,自然主义条件下的神经成像研究逐渐成为热门领域。它在语言、社会认知和情感等多个学科的研究中都展现出了重要价值。电影作为一种自然主义范式,被广泛应用于功能性磁共振成像(fMRI)研究中,为理解大脑的工作机制开辟了新途径。然而,目前公开可用的 fMRI 数据集中,虽然有不少包含电影观看任务,但大多缺乏关于情感诱发的注释。由于无法通过自动化方式,如依靠人工智能从视听内容中可靠地提取丰富的情感信息,获取这些注释需要大量的人力和资源投入。同时,现有的情感神经科学研究长期受二维(效价和唤醒度)或核心情感模型主导,而评价理论虽在心理学领域取得了重要进展,但在神经成像研究中却较少被涉及。因此,为了更好地理解情感体验背后的神经机制,填补心理学理论与实证神经科学研究之间的差距,来自瑞士洛桑联邦理工学院(école Polytechnique Fédérale de Lausanne)、日内瓦大学等机构的研究人员开展了一项研究,并将成果发表在《Scientific Data》上。
研究人员构建了 Emo - FilM 数据集,该数据集结合了注释研究和神经成像研究。在注释研究部分,研究人员从 LIRIS 数据库中选取了 16 部短片,这些短片此前已进行过效价、唤醒度和美学亮点的注释。在此基础上,研究人员基于日内瓦情感识别工具(GRID),新增了 55 个与情感相关项目的连续注释,包括 13 个离散情感项目以及 42 个来自评价、动机、表达、生理和主观感受等类别的项目 。44 名参与者远程对这些影片进行注释,研究人员通过一系列数据处理方法,计算出了共识注释。在神经成像研究部分,30 名未参与注释研究的健康志愿者观看了 14 部短片,同时研究人员收集了他们的 fMRI 数据和生理数据。扫描结束后,参与者还完成了一项离线行为评分任务,以验证注释研究中获得的连续评分。
研究人员采用了多种关键技术方法。在数据采集方面,利用 3T 西门子 Magnetom TIM Trio 扫描仪及 32 通道头线圈采集 MRI 数据,包括结构 T1 加权图像和功能图像;使用 BIOPAC MP150 监测系统记录参与者的生理活动,包括心脏脉冲、呼吸努力和皮肤电导。在数据处理方面,对生理数据进行 BIDS 格式转换、降采样、滤波和去噪处理;对 MRI 数据按照 BIDS 模式进行整理和转换,并使用 FEAT 软件进行预处理,包括运动校正、非脑去除、空间平滑等操作。
在注释质量评估方面,研究人员通过计算皮尔逊相关系数评估注释质量,剔除了一致性较差的项目和影片。最终的数据集包含 14 部影片和 50 个项目的注释,平均评分者间一致性为 0.38。在注释验证方面,通过计算 fMRI 研究中的平均评分与注释研究中的共识注释之间的皮尔逊相关性,验证了评分的有效性,平均相关性为 0.41。在 fMRI 质量控制方面,使用 MRIQC 评估结构和功能 MRI 数据质量,结果表明数据质量总体可接受。
这项研究构建的 Emo - FilM 数据集为情感神经科学研究提供了宝贵资源。它有助于研究人员深入探讨情感体验过程中的动态神经过程,理解认知评价和情感反应的神经机制,为研究精神病理学中情感处理的异常提供依据。同时,该数据集也为其他相关研究提供了参考,推动了多模态情感研究的发展。但研究也存在一定的局限性,如部分项目的注释一致性较低,可能与项目本身的特性或影片内容有关。未来的研究可以进一步优化注释方法,扩大样本量,以提高研究的可靠性和普适性。