基于通道累积尖峰序列图像驱动模型的手势识别研究：开辟人机交互新路径

《Cyborg and Bionic Systems》：Toward Hand Gesture Recognition Using a Channel-Wise Cumulative Spike Train Image-Driven Model

为解决手势与神经控制信号关联难题，研究人员开展基于 cw - CST 图像驱动模型的手势识别研究，该模型识别准确率达 96.92%±1.77% ，提升了手势识别精度。

　　在当今科技飞速发展的时代，人机交互技术正不断追求更加自然、高效的方式。手势识别作为其中关键一环，在智能假肢控制、运动功能康复以及混合现实交互等诸多领域都有着极为重要的应用。以往，研究人员多利用表面肌电图（sEMG）信号来实现手势识别，他们从 sEMG 信号中提取时频域特征，再借助机器学习算法进行分类。然而，sEMG 信号仅仅是神经控制信号的粗略反映，很容易受到噪声干扰，这就使得手势识别的准确性大打折扣。为了突破这一困境，建立起手势与神经控制信号之间更为直接、可靠的联系成为了科研人员亟待攻克的难题。

在此背景下，上海交通大学的研究人员积极开展探索，致力于寻找一种全新的解决方案。他们聚焦于从神经控制信号中精准识别手势，提出了一种基于通道累积尖峰序列（cw - CST）图像驱动的模型（cwCST - CNN），用于手势识别。该研究成果发表在《Cyborg and Bionic Systems》上，为手势识别领域带来了新的曙光。

研究人员在开展研究时，运用了多种关键技术方法。首先是数据采集技术，他们招募了 10 名健康受试者（8 男 2 女，23.8±2.3 岁），使用 3 块 8×8 的电极阵列，以 10mm 的电极间距和 3mm 的电极直径，围绕受试者的前臂进行均匀分布，采集高密度表面肌电图（HD - sEMG）信号。其次是信号处理技术，采集到的信号经过带通滤波、陷波梳状滤波等处理，去除噪声和异常通道。随后，通过空间尖峰检测算法从 HD - sEMG 信号中分解出 cw - CST，并将其重构为图像。最后，利用定制的卷积神经网络（CNN）对这些图像进行分析，从而识别出手势。

研究结果如下：

1. cwCST 图像的激活模式：研究人员对不同手势的 cwCST 图像模式进行了定性分析，发现每个手势都有独特的激活模式。这是因为不同手势涉及的肌肉在空间上的分布不同，相应地，其神经支配下的运动单元（MU）激活模式也存在差异，这在一定程度上有助于不同手势的识别。
2. 不同方法的识别准确率：研究人员对比了 cwCST - CNN 与其他 3 种方法（RMS - CNN、cwCST - LDA、RMS - LDA）的分类准确率。结果显示，cwCST - CNN 的平均分类准确率高达 96.92%±1.77% ，显著优于其他方法。在不同训练次数的实验中，无论训练次数多少，cwCST - CNN 的准确率始终高于其他 3 种方法。即使仅使用一次训练，其准确率也能超过 85%。
3. 训练次数对识别准确率的影响：研究表明，随着训练次数的增加，所有方法的分类准确率都有所提高，并且在训练次数超过 4 次后逐渐趋于稳定。但 cwCST - CNN 在这一过程中始终保持优势，这说明该模型在泛化能力上表现更为出色，能够用较少的数据适应不同情况。

研究结论和讨论部分指出，该研究成功地从 HD - sEMG 信号中分解出神经系统的直接控制信息（CSTs），并将其转化为 cwCST 图像。结合 CNN 模型，能够有效提取这些图像中的神经控制信息。与传统的均方根（RMS）特征相比，cw - CST 作为直接控制信息的估计更为稳健。通过主成分分析以及计算可分离性指数（SI）和重复性指数（RI）发现，cw - CST 特征的不同手势间分离性更好，训练和测试数据的一致性也更佳，这合理地解释了基于 cw - CST 的方法具有更高分类准确率的原因。

这项研究成果意义重大，它为手势识别提供了一种全新的解决方案，建立了手势与低维神经控制信息之间的直接联系，引入了 MU 激活的空间信息，极大地提升了手势识别的准确性。这不仅有助于推动人机交互技术的发展，还为智能假肢控制、运动康复等领域带来了新的思路和方法。不过，该方法也存在一定局限性，例如依赖 HD - sEMG 和多通道电极阵列，在可穿戴设备应用方面存在不便。但随着新型柔性传感技术和 3D 打印技术的发展，有望解决这些问题，进一步推动该技术的广泛应用。