面向精准手部轨迹解码的脑电-肌电异步时频渐进融合模型

《IEEE Transactions on Neural Systems and Rehabilitation Engineering》：An EEG-sEMG Asynchronous Time-Frequency Progressive Fusion Model for Hand Trajectory Estimation

本研究针对脑电(EEG)与表面肌电(sEMG)信号存在固有时间延迟、传统同步融合方法导致语义失准的难题，提出了AtpFusion模型。该模型通过长-短时窗分割策略构建异步时频输入，并采用渐进式分层融合架构，在WAY-EEG-GAL数据集上实现了三维手部轨迹的精准估计（PCC=0.9278），为康复机器人与仿生接口提供了高性能解决方案。

　　

想象一下，一位因中风或脊髓损伤而导致手部功能丧失的患者，能否通过“意念”来控制机械手，重新完成抓取水杯、写字等日常动作？这曾是科幻片中的场景，如今正随着脑机接口（Brain-Computer Interface, BCI）与神经康复工程的发展逐步走向现实。实现这一愿景的核心挑战在于如何精准、连续地解码人体的运动意图，并将其转化为平滑、自然的机械臂运动轨迹。

目前，用于解码运动意图的生理信号主要有两种：一种是直接反映大脑皮层神经电活动的脑电图（Electroencephalography, EEG），另一种是记录肌肉收缩时产生的电信号的表面肌电图（surface Electromyography, sEMG）。它们各具优势：EEG能更早地捕捉到运动的“想法”，但信号微弱且易受干扰；sEMG信号更强、更稳定，直接反映了即将发生的肌肉动作，但信息相对滞后。传统的思路往往将这两种信号进行“同步”处理，即截取同一时间段的EEG和sEMG数据进行融合分析。然而，这忽略了一个关键的生理事实：从大脑产生运动指令到肌肉执行动作，存在一个天然的、不可忽视的时间差。正如文章图1所示，信号的产生顺序是EEG（大脑）→ sEMG（肌肉）→ 手部运动轨迹。这种“异步性”使得强行对齐的同步融合方法难以捕捉到信号间真实的因果关联，导致解码出的轨迹不够精确、不够平滑，限制了其在要求极高的康复与辅助设备中的应用。

为了解决这一瓶颈问题，来自中国科学技术大学的研究团队在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》上发表了他们的最新研究成果。他们提出了一个名为AtpFusion的创新模型，首次在公开的WAY-EEG-GAL数据集上实现了基于EEG-sEMG融合的连续三维手部轨迹估计，并以卓越的性能为多模态仿生接口开辟了新途径。

为了开展研究，作者主要采用了几个关键技术方法：首先，他们利用公共WAY-EEG-GAL数据集，该数据集包含12名健康受试者在执行抓举任务时的同步记录的9通道EEG、5通道sEMG和手部运动学数据。其次，提出了异步时频输入构建方法，采用长时窗（1000 ms）处理EEG以捕捉前瞻性意图，短时窗（200 ms）处理sEMG以捕捉即时动作细节，并将EEG转换到频域（幅度和相位），sEMG保留时域信息。第三，设计了渐进分层融合模型，包含处理sEMG、EEG以及两者交互的三个分支，通过卷积层逐级提炼特征并进行跨模态融合。最后，采用留一交叉验证和皮尔逊相关系数（PCC）、均方根误差（RMSE）作为评估指标，并与多种传统及前沿方法进行对比。

性能对比与结果分析

研究团队将AtpFusion与多种现有方法进行了全面对比，包括单模态方法（如多元线性回归mLR、CNN-LSTM、EEGNet）、传统融合策略（早期融合EarlyFusion、晚期融合LateFusion1/LateFusion2）以及其他先进的EEG-sEMG融合分类模型改编的回归方法（如E2FNet、AM-PCNet）。结果表明，AtpFusion及其考虑连续样本时序信息的变体AtpFusion_cross均显著优于所有对比方法。

具体而言，AtpFusion在测试集上取得了平均PCC_aver为0.9237，平均RMSE_aver为0.0939的优异性能。而AtpFusion_cross通过利用连续样本间的信息，性能进一步提升至PCC_aver= 0.9278，RMSE_aver= 0.0916，达到了当前最先进的水平。统计检验（配对t检验）显示，AtpFusion与对比方法之间的性能差异具有统计学意义（p < 0.01或p < 0.05），且效应量（Cohen‘s d）大多大于0.8，表明差异显著。

异步时频融合的有效性分析

1. 1.
   频域信息的重要性：研究发现，使用频域EEG（EEG_f）作为输入的模型性能 consistently 优于使用时域EEG（EEG_t）的模型。这表明EEG信号中的频域特征（如μ和β节律）对于运动轨迹解码更具信息量，可能因为频域分析能更好地捕捉与运动相关的大脑节律活动并抑制噪声。
2. 2.
   异步融合的必要性：通过设计实验将固定200 ms窗长的sEMG与不同时间起点的EEG进行配对融合，发现性能随EEG起点变化呈先升后降的趋势，最佳性能点出现在EEG领先sEMG一定时间的情况下，这验证了考虑生理性时间延迟的异步融合策略比简单的同步融合更为合理。本研究采用的1000 ms（EEG）与200 ms（sEMG）的长-短窗组合成功实现了语义对齐。
3. 3.
   模型架构的优势：与早期融合（仅保留模态间分支）和晚期融合（在决策层合并单模态输出）相比，AtpFusion的渐进分层融合机制能够在特征提取的中间层次上逐步融合跨模态信息，更有利于回归任务所要求的特征一致性学习，避免了决策层融合可能带来的误差放大问题。

窗长影响与特征可视化

超参数研究表明，EEG窗长从200 ms增加到1000 ms时，性能持续提升，但增长幅度逐渐减小。最终选择1000 ms（500个数据点）作为EEG窗长，在性能和计算效率间取得了良好平衡。通过t-SNE对模型提取的特征进行可视化显示，AtpFusion融合特征在测试集上呈现出良好的连续性和平滑的梯度过渡，显著优于单模态模型特征分布的离散性，直观证明了融合模型能够学习到与连续轨迹对应的内在一致性表征。

研究结论与意义

本研究成功提出了AtpFusion模型，这是首个在抓举任务上实现基于EEG-sEMG融合的连续三维手部轨迹估计的方法。其核心贡献在于：一是提出了生理学启发的异步时频输入构建方法，有效解决了EEG和sEMG之间的固有时间延迟问题，实现了信号的语义对齐；二是设计了渐进分层融合架构，通过层内和层间分支的协同作用，实现了从粗到细的特征提炼与跨模态一致性表征学习。

该研究的重要意义在于：理论上，它突破了传统多模态融合在回归任务中的局限，强调了时序对齐和特征一致性对于连续变量解码的重要性，为多模态信号处理提供了新思路。技术上，AtpFusion模型在公开基准数据集上达到了领先的精度（PCC > 0.92），并且其单样本推理时间（约2.53 ms）满足实际肌电控制对实时性的要求（通常要求响应时间在300 ms以内），展示了将其集成到实际仿生手或康复机器人控制系统中的巨大潜力。应用上，这项工作为开发高性能、自然流畅的多模态人机交互接口，特别是在运动功能康复领域，提供了强有力的技术支撑和新的解决方案，使得未来能够为行动障碍患者提供更精准、更自然的运动辅助成为可能。