编辑推荐：
在混合现实（MR）人机交互中，评估认知负荷颇具挑战。贵州大学研究人员搭建 MR 多模态实验平台，经实验发现高认知负荷影响任务表现，还设计出认知负荷预警系统，能有效降低风险，为 MR 工作环境安全提供保障。
在科技飞速发展的当下，制造业正朝着技术密集型大步迈进。在智能工厂的人机制造系统里，人与机器的关系有了全新的内涵。曾经，工人大多在装配线上从事重复劳动，随着自动化技术崛起，这些重复性任务逐渐被机器接手。如今，工人更多地承担起机器的设计、操作和监督工作。在工业 5.0 时代，制造的核心从系统转向了人，强调以人为本的制造理念。
不过，新的问题也接踵而至。工业机器存在诸多安全隐患，每年因机械事故导致的伤亡数据令人触目惊心。2022 年，美国劳工统计局报告显示，美国有 738 人因接触物体和设备死亡，其中 199 人死于机械事故；2023 年，中国机械行业发生 310 起生产安全事故，造成 294 人死亡 。而且，工人在操作工业设备时，传统的设备警报方式需要工人靠近危险区域检查，这无疑增加了受伤风险。
与此同时，人机交互技术也在不断革新。从传统的物理按钮交互，逐渐发展到 MR 时代的传感器驱动交互。但在享受新技术带来便利的同时，使用 MR 头戴式显示器（MR-HMD）的维护人员却面临着认知负荷增加的困扰。这种认知负荷可能源于周围环境信息的干扰，或者 MR 设备过多的虚拟界面和警报噪音。目前，虽然在数据仪表盘、虚拟现实（VR）和增强现实（AR）领域对认知负荷已有研究，但在工业环境中利用 MR 进行认知负荷检测的研究还十分有限。为了解决这些问题，来自贵州大学先进制造技术教育部重点实验室的研究人员开展了一项极具意义的研究。
研究人员为了探究 MR 环境中认知干扰因素对人机交互（HCI）任务的影响，进行了一系列实验。他们搭建了一个 MR 多模态实验平台，该平台包含三种不同的环境，旨在诱导出不同程度的认知负荷。参与者需要在这些环境中完成基于 MR 的数控机床交互任务。
在实验过程中，研究人员使用 HoloLens 2 混合现实头戴式显示器的内置传感器和可穿戴心率传感器，收集参与者执行任务时的设备数据和生理数据。同时，运用 NASA 任务负荷指数（NASA-TLX）问卷来评估参与者的认知负荷。实验结果显示，高认知负荷对 MR-HCI 任务影响显著，与低负荷条件相比，高负荷下 MR 环境中的操作时间增加了 49%。而且，高负荷环境会让参与者的焦虑和挫败感上升，任务表现也随之下降。
为了对认知负荷进行分类，研究人员利用改进的 Transformer-CL 网络开展研究。他们对多种算法进行比较，最终发现 “头部运动 + 眼动追踪 + 手势” 三模态数据集在大多数分类模型中表现最佳，Transformer-CL 模型在该数据集上更是达到了 95.83% 的准确率 。基于这些研究成果，研究人员设计了一个 MR 数字孪生工厂认知负荷预警原型系统。该系统能实时监测工人的认知负荷状态，一旦检测到工人处于高认知负荷状态持续一定时间，就会发出警报，提示工人休息或寻求帮助，有效降低了 MR 工作环境中的安全风险。
这项研究成果发表在《Scientific Reports》上，为后续研究提供了重要的参考。其意义不仅在于揭示了 MR 环境中认知负荷的影响因素和分类方法，还为保障工人在复杂操作环境中的安全提供了有效的解决方案。
研究人员开展研究用到的主要关键技术方法如下：
- 搭建实验平台：利用数字孪生数控机床、MR-HMD 和可穿戴心率传感器搭建实验平台，模拟不同认知负荷环境。
- 数据采集：通过 MR-HMD 内置传感器和心率传感器，收集头部运动、眼动、手部关节和心率等数据。
- 算法模型：运用改进的 Transformer-CL 网络等多种算法对认知负荷数据进行分类，并对比不同算法性能。
下面介绍具体的研究结果：
- 噪声水平：研究人员使用噪声计测试了三种实验环境的实际噪声数据，为后续分析提供了基础。
- NASA-TLX 评分：通过对 20 名参与者的 NASA-TLX 评分分析，发现高负荷环境 A 在心理需求、体力需求、时间需求、努力程度和任务挫败感方面得分较高，而在任务表现方面得分较低；低负荷的对照组 C 则相反。这表明高负荷环境对参与者的认知和情绪产生了较大负面影响。
- 心率：研究发现不同负荷环境下参与者的心率变化差异不大，任务环境对平均心率无显著影响，因此在最终的认知负荷预警原型系统中未使用心率数据进行分类。
- 任务完成时间：对比不同负荷环境下的任务完成时间，发现高干扰环境 A 的平均完成时间比低干扰环境长 49%，且认知负荷环境对任务完成时间有显著影响，进一步证实了高负荷环境会延长 MR 任务的执行时间。
- 认知负荷分类网络：研究人员对基于 Transformer 结构的深度学习网络进行改进，用于认知负荷分类。经多轮对比实验，改进后的 Transformer-CL 网络在认知负荷分类上表现出色，最高准确率达到 95.83% ，证明了其在认知负荷分类中的有效性。
- 高认知负荷预警原型系统：基于 Unity 和 PyQt 开发的 MR 高负荷预警原型系统，能实时接收和处理 MR-HMD 的传感器数据，及时发现工人的高认知负荷状态并发出警报，为管理和保障工人安全提供了有力支持。
在讨论和结论部分，研究再次证实了 MR-HMD 的传感器数据包含与参与者认知负荷相关的潜在信息，可作为认知负荷分类的依据。研究还对比了不同模型在认知负荷分类上的性能差异，发现 Transformer-CL 模型在多模态数据上表现卓越，而传统机器学习模型在处理复杂时空数据和跨模态特征融合时存在局限性。
不过，该研究也存在一些局限性。比如实验样本量有限，实验环境与真实工厂环境存在差异等。尽管如此，这项研究为未来在类似场景下的多模态分类研究提供了理论支持和方法参考。未来，研究人员计划整合更多传感器数据流，探索个性化行为对认知负荷检测的影响，进一步提升认知负荷场景识别和分类的准确性，为工人在复杂操作环境中的安全保驾护航。
