一种简化的摩尔斯电码编码眼镜式传感器，用于通过复杂的头部动作实现非接触式通信

《Sensors and Actuators A: Physical》：A simplified morse-coded eyewear-type transducer for touchless communication via complex head gestures

智能眼镜通过IMU传感器捕捉头部运动角度，结合简化的摩尔斯电码实现脑损伤或认知障碍患者的无接触通信，并利用LSTM-fCN网络分析复杂头部动作。摘要：

　　

李志勋（Jihun Lee）|金在元（Jae Won Kim）|金国勋（Go Hun Kim）|白承浩（Seung Ho Baek）|金基秀（Kisoo Kim）|李元国（Won Gu Lee）

韩国庆熙大学机械工程系，龙仁市17104

摘要

本文提出了一种帮助认知障碍和脑损伤患者实现更清晰沟通的方法。我们设计了一种智能眼镜设备，通过控制头部动作来编码他们的沟通信息。该设备通过安装在眼镜镜架上的惯性测量单元（IMU）传感器测量头部运动的角度，从而对头部运动信号进行编码和解码。我们使用简化的“类二进制莫尔斯码”格式对设备进行了演示，并通过长短期记忆（LSTM）全卷积神经网络（fCN）进一步分析了复杂的头部运动，从而提高了对可穿戴头部运动动态的理解。这种方法有望应用于各种沟通场景，包括非语言和无接触的教育环境，以及嘈杂和声学条件恶劣的工作环境。此外，它还有潜力用于开发用于早期检测儿童异常头部姿势的眼镜型医疗设备，例如由于长时间不当使用智能手机导致的斜颈综合征。

引言

可穿戴智能设备由于硬件和人工智能（AI）技术的快速进步而取得了显著发展。[1],[2],[3],[4] 其中，智能眼镜作为一种多功能平台，在医疗、教育和娱乐领域得到了广泛应用。[5],[6],[7] 例如，配备各种传感器的智能眼镜可以收集肌电图（EMG）、脑电图（EEG）和眼电图（EOG）等生物特征信号，以传输指令或分类头部运动信号。[8],[9],[10] 可穿戴智能眼镜还可以显著帮助残疾患者。已经开发出具有超声刺激功能的智能眼镜，以激发视障者的神经反应；同时，也有方法将相机捕获的图像转换为听觉输出，提供视觉辅助功能。[11],[12]

对于患有脑损伤和帕金森病等神经系统疾病的患者来说，免提功能是必不可少的，因为他们往往由于自主肌肉控制能力受限而在沟通方面面临巨大挑战。[13] 特别是，无法自由移动发声肌肉会使得传统的基于语音的沟通方法失效。在肢体残疾人群中，被诊断为肌萎缩侧索硬化症的患者表现出严重的运动限制，包括手部活动能力和发声功能受损，这进一步加剧了沟通障碍。[14] 因此，替代的沟通策略可能涉及使用其他可控制的身体部位或辅助技术，如可穿戴接口。

莫尔斯码最初是为电报通信开发的，是一种重要的全球通信工具，尤其是在紧急信号传递和军事行动中。尽管随着现代通信技术的发展其使用有所减少，但莫尔斯码仍然是一种通过简单二进制信号（包括闪光、眨眼和手势）传输信息的可靠且被广泛认可的方法。[15],[16],[17] 基于莫尔斯码的文本输入系统允许患者仅用一根手指进行最小限度的操作，从而与他人进行沟通，而无需在手指上安装任何传感器。[18] 然而，标准莫尔斯码需要使用多个短点和长划来编码单词，这可能会在沟通过程中给患者带来较大的认知和身体负担。

本研究旨在开发一种可穿戴系统，以帮助自主肌肉控制能力受损的人实现实用的沟通。该系统采用带有惯性测量单元（IMU）传感器的智能眼镜平台，精确捕捉头部运动数据。通过量化头部运动角度，该设备通过IMU传感器非侵入性地获取头部运动信号，实现用户意图的实时编码和解码。我们实现了一种简化的二进制莫尔斯码编码方案，以优化沟通效率，特别适用于有限且受控制的头部动作。此外，通过集成基于长短期记忆（LSTM）的全卷积神经网络（fCN），实现了对复杂头部运动序列的强大分类和解释能力。这种方法可以提高可穿戴头部运动分析的准确性，并扩展其在临床环境中作为实用免提沟通辅助工具的潜力。

部分摘录

眼镜型头部运动信号转换器的设计与制造

该系统使用智能眼镜收集头部运动产生的信号，然后将其编码为莫尔斯码并解释为通信输出。这样，设备可以在无需物理接触的情况下识别用户的头部动作，实现无接触沟通。设备集成了IMU传感器来测量用户的头部运动信号，并通过Arduino Uno R3 DIP平台传输莫尔斯码信号，如图1所示。为了检测头部转动...

根据不同头部运动的数据采集

如图4(a)和4(b)所示，头部向左右倾斜会导致IMU传感器的Y轴数据发生变化。头部向左倾斜会导致大约30度以内的负方向变化，而向右倾斜则会导致正方向变化。虽然绝对数值可能因中性参考位置的不同而有所差异，但两种运动的方向性差异是明显的。图4(c)和4(d)展示了Z轴数据的变化...

结论

本研究介绍了一种基于简化莫尔斯码协议的新方法，用于肢体残疾者的非语言和无接触沟通。该系统被设计为可穿戴智能眼镜，能够通过全面分析复杂的头部运动来增强非语言沟通能力。我们实现了利用嵌入在智能眼镜中的IMU传感器来测量复杂头部运动角度变化的系统，从而实现简化信息的输出...

作者贡献声明

李元国（LEE Won Gu）：撰写 – 审稿与编辑、初稿撰写、验证、监督、项目管理、资金获取、正式分析、数据管理、概念构思。金基秀（Kisoo Kim）：撰写 – 审稿与编辑、监督、资金获取、数据管理。白承浩（Seung Ho Baek）：软件开发、数据管理。金国勋（Go Hun Kim）：软件开发、方法论、数据管理。金在元（Jae Won Kim）：初稿撰写、方法论、正式分析、数据管理。李志勋（Jihun Lee）：撰写 – 审稿与...

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本研究得到了韩国国家研究基金会（NRF）基础科学研究计划（RS-2024–00347889）和贸易、工业与能源部资助的工业战略技术发展计划（RS-2024-00418621）的支持。此外，该工作还得到了信息与通信技术规划与评估研究所（IITP）在元宇宙支持计划下的支持，以培养优秀人才。

李志勋（JiHun Lee）毕业于韩国庆熙大学机械工程系（2023年），目前是庆熙大学健康系统工程设计（HeSED）实验室的硕士生。他在机械机构、仿生设计和数字孪生建模方面具有较高的图形设计能力。他的研究兴趣包括开发混合扩展现实和元宇宙可穿戴格式的数字医疗系统。