用于机器人控制的多模态脑机接口：实时眼球追踪与基于脑电图（EEG）的运动想象的整合

《Medical & Biological Engineering & Computing》：Multimodal brain-computer interface for robotic control: integration of real-time gaze tracking and EEG-based motor imagery

本研究开发了一种结合注视跟踪与运动想象（MI）的虚拟脑机接口（BCI）系统，用于上肢功能障碍者的机械臂控制。通过EEG信号经CSP和LDA处理，结合实时摄像头注视校准，20名健康受试者在Unity游戏中验证系统。结果显示训练阶段准确率显著高于测试阶段，MI分类TP率达75.5%，且准确率与任务完成时间呈负相关（r=-0.45），表明高准确率可提升操作效率，但系统仍需在鲁棒性、实用性和用户体验方面优化。

　　

摘要

上肢功能障碍患者在执行日常任务时面临重大挑战，通常需要依赖医疗专业人员、护理人员或家庭成员的帮助。这种依赖给提供帮助的人带来了持续的压力，因为他们必须随时准备提供支持。为了解决这些问题，本研究开发了一种虚拟混合脑机接口（BCI）系统，该系统将视线追踪技术与运动想象（MI）相结合，用于控制机械臂，从而有可能减少对人类支持的依赖。20名健康的右撇子参与者参与了一个虚拟游戏环境，在其中他们同时使用视线追踪和运动想象来控制机械臂。在初始训练阶段，使用脑电图（EEG）帽记录了参与者的脑电信号。然后通过常见空间模式（CSP）算法和线性判别分析（LDA）对这些信号进行处理和分类。与此同时，使用网络摄像头进行实时视线校准，以实现精确的目标选择。在随后的测试阶段，运动想象指令引导虚拟机器人在基于Unity的游戏中的预定目标移动。训练准确率始终高于在线测试准确率。运动想象信号分类的真正阳性（TP）率约为75.5%，同时观察到运动想象分类准确率与游戏完成时间之间存在显著的负相关（r = ?0.45），这表明更高的运动想象准确率能够加快任务执行速度。这些发现展示了将视线追踪技术与基于运动想象的BCI结合用于上肢功能障碍辅助技术的潜力。尽管这项技术具有前景，但技术上的局限性表明仍需进一步改进，以提高系统的稳健性、实用性和日常活动中的可用性。

图形摘要

上肢功能障碍患者在执行日常任务时面临重大挑战，通常需要依赖医疗专业人员、护理人员或家庭成员的帮助。这种依赖给提供帮助的人带来了持续的压力，因为他们必须随时准备提供支持。为了解决这些问题，本研究开发了一种虚拟混合脑机接口（BCI）系统，该系统将视线追踪技术与运动想象（MI）相结合，用于控制机械臂，从而有可能减少对人类支持的依赖。20名健康的右撇子参与者参与了一个虚拟游戏环境，在其中他们同时使用视线追踪和运动想象来控制机械臂。在初始训练阶段，使用脑电图（EEG）帽记录了参与者的脑电信号。然后通过常见空间模式（CSP）算法和线性判别分析（LDA）对这些信号进行处理和分类。与此同时，使用网络摄像头进行实时视线校准，以实现精确的目标选择。在随后的测试阶段，运动想象指令引导虚拟机器人在基于Unity的游戏中的预定目标移动。训练准确率始终高于在线测试准确率。运动想象信号分类的真正阳性（TP）率约为75.5%，同时观察到运动想象分类准确率与游戏完成时间之间存在显著的负相关（r = ?0.45），这表明更高的运动想象准确率能够加快任务执行速度。这些发现展示了将视线追踪技术与基于运动想象的BCI结合用于上肢功能障碍辅助技术的潜力。尽管这项技术具有前景，但技术上的局限性表明仍需进一步改进，以提高系统的稳健性、实用性和日常活动中的可用性。

图形摘要