基于肌电信号的打字手势分类数据集助力人机交互新突破

研究人员为支持肌电接口在人机交互领域发展，开展打字任务肌电信号数据集研究，发现跨会话和个体分类精度低，为相关研究提供数据支撑

　　在科技飞速发展的今天，人机交互的方式不断革新。虚拟、增强或混合现实应用，以及残障人士对便捷交互的需求，都让传统的人机交互方式捉襟见肘。比如，在虚拟世界里，人们渴望更自然、无缝的交互体验，而不是依赖键盘、鼠标等物理外设；对于残障群体，现有的交互设备可能无法满足他们的特殊需求。神经技术的出现，为解决这些难题带来了希望。其中，表面肌电图（sEMG）在肌电控制系统中得到广泛应用，它能通过记录肌肉收缩时的生物电活动来分类动作，在假肢控制等康复领域发挥了重要作用。然而，目前针对打字等非假肢控制运动任务的 sEMG 数据集却十分稀缺，而且现有标准数据集上的高准确率也限制了新方法的比较与发展。为了填补这一空白，推动肌电接口在更广泛人机交互场景中的应用，来自多伦多康复研究所 - 大学健康网络（University Health Network）、多伦多大学（University of Toronto）、巴伊兰大学（Bar-Ilan University）等机构的研究人员 Jonathan Eby、Moshe Beutel 等人展开了深入研究。他们的研究成果发表在《Scientific Data》上，为该领域提供了新的思路和数据支持。

研究人员开展的这项研究主要采用了以下关键技术方法：

1. 数据采集：招募 19 名未受伤的参与者（5 男 14 女，31±7 岁），在不同的两天进行实验。在参与者的前臂放置 16 通道凝胶电极，采集 sEMG 数据，并使用定制的键盘记录脚本同步按键时间戳。
2. 数据处理与分类：运用多种数据处理手段，对采集到的数据进行整理和分析。分类时，使用带有径向基函数内核的支持向量机（SVM）模型，并对不同特征集和窗口长度进行测试。此外，还探索了联邦学习（FL）在数据共享中的应用。

下面来看具体的研究结果：

1. 特征集与窗口长度对分类精度的影响：研究人员测试了不同特征集的分类精度，发现通过特征扫描得到的特征集性能优于文献中的标准特征集。其中，（RMS, LOGVAR, WL, WAMP, ZC, AR1, AR2）特征集表现最佳，平均分类准确率达到 87.4±2.5%。同时，研究还发现分类准确率随窗口长度增加而提高，但存在边际收益递减的情况。综合考虑，推荐使用 0.2s 的窗口长度来平衡分类准确率和按键所需时间。
2. 跨会话和跨个体分类精度：跨会话分类评估显示，训练和测试数据来自不同日期时，平均分类准确率仅为 13.66±1.71%，远低于同会话内的分类准确率。采用留一参与者外出法（LOPO）评估模型在不同参与者之间的可转移性时，也得到了较低的分类准确率，平均为 15.24±5.08%。这表明跨会话和跨个体的分类是该领域面临的重大挑战。
3. 联邦学习实验：研究人员探索了联邦学习在数据共享中的应用，尝试使用多层感知器（MLP）模型。实验结果表明，尽管联邦学习可以访问更多数据，但同会话内的准确率仍低于在单个用户上训练的 SVM 模型。不过，简单的 FedAvg 模型在跨会话挑战中表现相对较好，尽管其结果仍较低，实用性有限。

在研究结论和讨论部分，此次研究提供的打字数据集，为改善肌电控制策略提供了宝贵资源，有助于解决具有挑战性的人机交互问题。经典机器学习方法在同会话内的任务中表现相对较好，但在处理有限数据时，仍有提升空间。跨会话和跨个体分类准确率较低的问题，为后续研究指明了方向。若能提高跨会话分类性能，将减少肌电接口使用时的校准步骤，这对于肌电接口在商业产品中的应用至关重要。虽然目前的数据集存在一定局限性，如仅使用单个按键而非自然打字任务，但它为研究人员提供了一个良好的基础，后续可以进一步研究自然打字场景中打字动作变异性的影响。总的来说，这项研究成果为肌电控制在人机交互领域的发展提供了重要的数据支持和研究方向，有望推动该领域取得新的突破，让人们在未来能够享受到更加智能、便捷的人机交互体验。