基于像素的面部热成像分析技术在情感识别中的应用开发

《Computers in Human Behavior Reports》：Development of pixel-based facial thermal image analysis for emotion sensing

面部热成像技术通过非接触式检测皮肤温度变化，为计算机情绪感知提供新方法。本研究采用统计参数映射（SPM）结合血红蛋白响应函数（HRF），开发了全脸像素级分析方法，解决了传统ROI分析的局限性。实验发现鼻尖和前额温度与动态情绪唤醒呈显著负相关，且HRF能增强 forehead区域检测敏感性。该方法为情绪障碍诊断、市场营销研究等领域提供非侵入式生理指标评估新途径。

　　本研究探讨了面部热成像技术在计算机化情绪识别中的应用潜力，提出了一种基于统计参数映射（Statistical Parametric Mapping, SPM）的像素级分析方法。该方法旨在克服以往研究中对面部热信号分析的局限性，从而更准确地捕捉情绪状态与面部温度变化之间的关系。面部热成像技术因其非接触、非侵入的特性，为情绪识别提供了新的视角。与传统的区域感兴趣（Region of Interest, ROI）分析相比，该方法通过像素级的全面分析，能够更细致地描绘情绪变化所引发的面部温度动态，同时借助统计方法确保分析结果的可靠性。

在情绪反应中，面部温度变化通常与自主神经系统（Autonomic Nervous System, ANS）的活动密切相关。特别是交感神经系统（Sympathetic Nervous System, SNS）在情绪激发时会被激活，进而导致血管收缩，减少皮肤区域的血流量，从而使得局部温度下降。这一现象已被广泛观察到，并且在多个面部区域，如鼻尖、额头、脸颊和眼周区域，均表现出与情绪相关的温度变化。然而，以往的研究大多局限于特定的ROI分析，未能全面考虑面部整体的温度变化模式，因此可能遗漏了一些细微的情绪信号。为了弥补这一缺陷，本研究采用SPM方法对面部热成像数据进行像素级分析，不仅能够更准确地捕捉情绪相关的温度变化，还能通过随机场理论（Random Field Theory, RFT）对多重比较进行校正，从而降低假阳性率，提升分析的科学性和统计效力。

本研究采用了一种半自动化的预处理流程，以确保面部热成像数据的对齐和标准化。首先，开发了一款专门用于面部热成像的软件，该软件能够自动追踪多个面部关键点，并将其坐标转换为适用于Blender的格式，以便进一步进行三维建模和纹理映射。这一过程类似于SPM中的实时对齐（realignment）步骤，确保所有视频帧中的面部结构保持一致。接下来，使用Blender进行非线性对齐，通过UV映射技术将二维热成像数据映射到三维面部模型上，从而实现精确的面部空间对齐。UV映射是一种将3D模型表面展开为2D平面的技术，使得每个顶点都能与对应的热图像像素进行匹配。这一步骤为后续的像素级分析奠定了基础，并确保了不同参与者之间的空间一致性。

在预处理完成后，热成像数据被转换为NIfTI格式，这是神经影像分析中常用的格式，便于后续的SPM分析。随后，使用SPM内置的平滑技术对数据进行处理，以增强信号的信噪比并减少噪声干扰。平滑过程中采用了一个2.3毫米的全高斯核（isotropic Gaussian kernel），这是功能磁共振成像（fMRI）分析中的默认设置，适用于处理面部热成像数据。通过这一系列预处理步骤，研究团队成功构建了一个适用于面部热成像的SPM分析框架，为后续的情绪状态分析提供了可靠的数据基础。

在数据分析阶段，研究团队采用了两阶段的随机效应模型，以识别群体层面的情绪相关温度变化。首先，对每个个体的热成像数据进行单变量分析，利用广义线性模型（General Linear Model, GLM）建立动态情绪评分与温度变化之间的关系。在这一过程中，研究团队引入了经典的血流反应函数（Hemodynamic Response Function, HRF），该函数在fMRI研究中被用于建模神经活动与血流变化之间的延迟和持续性。由于面部温度变化与情绪相关血流变化之间存在类似的时序特征，研究团队认为引入HRF能够更准确地捕捉情绪对温度的影响。通过将热成像数据与HRF进行卷积，研究团队能够更好地模拟情绪刺激所引发的血流变化，从而提高分析的准确性。

为了验证该方法的有效性，研究团队设计了一项实验，招募了21名日本参与者，并要求他们在观看情感电影时进行动态的情绪评分。参与者通过动态报告工具（dynamic reporting tool）实时记录他们的主观情感体验，包括情感的正面性（valence）和唤醒度（arousal）。研究团队将这些主观评分与热成像数据进行回归分析，以识别面部温度变化与情绪状态之间的像素级关联。分析结果显示，鼻尖温度与唤醒度之间存在显著的负相关，这一发现与以往的研究一致。此外，研究团队还发现，额头区域的温度变化同样与唤醒度相关，尤其是在考虑HRF模型的情况下，额头区域的激活簇数量显著增加。这些结果表明，基于SPM的像素级分析能够更全面地揭示面部温度变化与情绪状态之间的关系，尤其是那些在传统ROI分析中被忽略的区域。

在实验过程中，研究团队还考虑了多种因素对分析结果的潜在影响。例如，参与者性别是否会影响温度变化与情绪之间的关系，以及HRF模型是否适用于面部热成像数据。初步分析表明，性别对情绪相关温度变化的影响并不显著，因此在最终分析中未将其纳入模型。此外，研究团队还对HRF模型的延迟和分散效应进行了检验，发现这些因素对结果的影响较小，因此选择使用经典的HRF模型进行分析。这些结果进一步支持了将HRF引入面部热成像分析的合理性，表明该方法能够更精确地捕捉情绪变化的时序特征。

本研究的发现不仅在理论上具有重要意义，还为实际应用提供了新的可能性。在医学领域，面部热成像技术可以用于评估特定人群的情绪状态，如自闭症谱系障碍（Autism Spectrum Disorder, ASD）和帕金森病（Parkinson’s disease）患者。这些人群通常表现出情绪表达的异常或受限，传统的情绪评估方法可能难以准确捕捉其情绪变化。而基于SPM的面部热成像分析能够提供一种非侵入性的、客观的评估工具，为临床诊断和治疗提供支持。此外，该技术还可以用于心理健康评估，例如焦虑和抑郁等情绪障碍的诊断和监测。相比于依赖主观报告的传统方法，面部热成像技术能够减少因社会期望或自我意识导致的偏差，从而提供更准确的情绪评估。

在非医疗领域，面部热成像技术同样具有广泛的应用前景。例如，在消费者行为研究中，该技术可以用于分析个体在观看广告或产品视频时的情绪反应，从而帮助企业更精准地理解消费者的心理状态和偏好。相比传统的生理信号采集方法，如皮肤电活动（electrodermal activity, EDA）或心率变异性（heart rate variability, HRV），面部热成像技术具有更高的便利性和非侵入性，能够在不影响参与者体验的前提下进行情绪监测。这一特性使其特别适用于长时间实验或自然情境下的情绪研究，为市场营销和用户体验研究提供了新的工具。

尽管本研究取得了重要的进展，但仍存在一些局限性。首先，预处理流程仍需进一步优化，以提高自动化程度。目前，面部热成像的UV映射需要人工干预，这可能影响分析的标准化和可重复性。未来的研究可以探索更先进的算法，以实现更高效的自动对齐和建模。其次，实验过程中可能因头部运动导致部分面部区域的热信号被遮挡，影响分析的准确性。为了解决这一问题，可以考虑使用多角度的热成像设备，以确保全面捕捉面部温度变化。此外，实验中使用的电极可能会干扰额头区域的热信号采集，因此未来的研究应设计更合理的实验设备，以避免对关键区域的遮挡。最后，本研究的样本量较小，可能限制了结果的普遍适用性。未来的研究应扩大样本规模，以进一步验证性别差异或其他个体因素对情绪相关温度变化的影响。

综上所述，本研究提出了一种基于SPM的面部热成像分析方法，能够更全面地揭示情绪状态与面部温度变化之间的关系。通过引入HRF模型，该方法不仅提升了分析的准确性，还增强了对情绪时序特征的捕捉能力。这一技术在医学和非医学领域的应用前景广阔，为情绪识别和评估提供了新的思路。然而，为了进一步推广该技术，还需要在算法优化、设备改进和样本扩展等方面进行深入研究。未来的研究可以结合更多生理信号，如脑电图（EEG）或心率变异性（HRV），以构建更全面的情绪识别系统。此外，随着人工智能和机器学习技术的发展，面部热成像数据可以与这些技术相结合，实现更智能、更精准的情绪分析。这一研究为理解情绪的生理基础提供了新的视角，也为情绪识别技术的发展奠定了坚实的基础。