到达和抓住：在简单和复杂的运动中整个上肢的多模态数据集

　　

多模态上肢运动数据集 Reach&Grasp：开启上肢运动研究与应用新篇

在科技蓬勃发展的当下，对人体上肢运动的深入研究在众多领域发挥着关键作用。意大利技术研究院（Italian Institute of Technology）Rehab Technologies Lab 的研究人员，包括 Dario Di Domenico、Inna Forsiuk 等，于《Scientific Data》期刊发表了题为 “Reach&Grasp: a multimodal dataset of the whole upper-limb during simple and complex movements” 的论文。这一成果意义非凡，为上肢运动研究和相关应用开拓了新方向，提供了丰富的数据资源与研究思路，对推动运动控制、假肢研发等领域的发展具有重要价值。

一、研究背景

在现代科技应用中，上肢运动的精确表征至关重要。对于主动上肢假肢而言，其依赖多样化信号的收集来理解用户意图并控制设备，其中肌电图（EMG）信号应用广泛。但确定何种信号类型或组合更适合设备控制是关键难题，这涉及系统复杂性、计算成本与准确性、鲁棒性和冗余性的权衡，尤其在多自由度设备中。

目前，虽然提出了多种输入源，但缺乏对不同输入信号组合方法的系统比较。现有的公开数据集也无法完全满足全面探索潜在输入源的需求，难以支持安全可靠的假肢控制。例如，从论文中列出的公开数据集来看，Atzori 等人 2012 年和 2014 年的数据集缺少部分关键数据类型；Saudabayev 等人 2018 年的数据集虽包含多种数据，但仍不完整。这一现状迫切需要构建一个综合性数据集，涵盖多种信号数据，以填补研究空白。

二、研究材料与方法

（一）参与者

研究招募了 10 名健康个体，其中 4 名女性，6 名男性，均为右利手且无已知神经肌肉损伤。他们年龄在 24 至 36 岁之间，平均年龄 30.3±4.0 岁，平均体重 69.5±15.4 kg，平均身高 172.4±8.0 cm。这些参与者均来自意大利技术研究院的研究生和工作人员，在数据收集前，他们都签署了书面知情同意书。为保护数据隐私，每位参与者都被分配了唯一 ID，身份与 ID 的关联表加密存储，不随数据集共享。所有实验遵循《赫尔辛基宣言》，并获得当地伦理委员会批准（CER Liguria Ref. 11554 of October 18, 2021）。

（二）实验设置与数据采集

实验使用多种设备记录不同类型信号。肌电活动通过高密度和双极表面肌电图测量。高密度表面肌电图（HD-sEMG）采用 Sessantaquattro 设备和两个 32 电极的预凝胶粘性单极网格记录，参考电极置于尺骨茎突，采集频率 2kHz，分辨率 16 位，满量程输入范围 18.75mV 峰峰值，通过一阶高通滤波器去除直流分量（截止频率 10.5Hz） 。双极 EMG 使用 Wave Plus 系统无线采集，10 个双极预凝胶粘性电极置于特定肌肉，采样率 2kHz，分辨率 16 位，满量程输入范围 5mV 峰峰值，通过一阶高通滤波器去除直流分量（截止频率 10Hz），且该系统与 Vicon 系统同步 。

运动学数据通过 Vicon 运动捕捉技术和传感器手套获取。Vicon 系统使用 10 个红外相机和 23 个反射标记，基于标记轨迹和运动学模型获取关节角度，采样频率 100Hz。传感器手套由 Bielefeld University 开发，可检测手指弯曲（运动学数据）和抓握时的力（触觉数据），通过 ROS Melodic 通信，采样频率 100Hz。其中，运动学数据由 CyberGlove I 测量多个关节角度，触觉数据由集成在手掌和手指内的压阻式压力传感器测量，手套虽未校准，但不同传感器的响应相似，可进行相对比较。

实验需要三台计算机协同工作，分别运行不同的软件和系统，实现数据采集和同步。同时，所有实验过程均进行视频记录，视频数据可应要求提供。

（三）实验协议

参与者需完成 16 项不同任务，每个任务重复 10 次。任务从简单运动到复杂的伸手抓握及物体操作，包括手的开合、手腕的旋转屈伸、不同方式的抓握、伸手抓取物体以及物体操作等。实验过程中不限制时间，要求参与者以大致固定的速度完成重复动作，每次任务后休息 1 分钟，整个实验约 1 小时。

（四）数据记录

采集的数据按照 Brain Image Data Structure（BIDS）标准进行转换和存储。数据转换基于 Fieldtrip 的ft_data2bids函数进行定制化开发，将原始数据转换为符合 BIDS 规范的格式，并创建相应的元数据。转换后的数据存储在 IIT Dataverse 上，以 “sub - XX” 命名每个参与者的文件夹，其中包含 “emg”“motion”“tactile” 三个子文件夹，分别存储肌电、运动学和触觉数据。每个子文件夹内，针对 16 项运动，都有对应的.csv（原始数据）、.json（元数据）和.tsv（通道描述）文件，文件命名遵循特定规则 。

（五）技术验证

为确保数据质量，对 EMG 数据、运动学数据和触觉数据进行了验证。EMG 数据通过带通滤波和陷波滤波去除干扰，计算功率谱密度（PSD）进行频率分析。运动学数据通过观察不同任务中关节角度变化和运动时间来评估，如手开合、手腕运动、抓握等任务中，分析各关节角度变化情况。触觉数据通过计算平均传感器活动来验证，比较不同任务中传感器读数差异，分析不同抓握策略下的力分布。

此外，为进一步验证数据，对数据进行了分段处理。根据运动学数据中关节角度变化的导数（角速度）确定每个任务重复的起止时间，对于无法自动分段的情况，手动进行识别。通过数据分段，评估了每个任务重复的持续时间，发现简单运动耗时较短，复杂运动耗时较长。

三、研究结果

（一）EMG 数据验证结果

通过频率分析对双极和高密度 EMG 信号质量进行验证。结果显示，经过滤波处理后，HD - sEMG 和双极 EMG 的功率谱密度在合理范围内。从图 5 中可以看出，不同受试者的 EMG 频谱特征具有一定相似性，表明采集的 EMG 数据质量可靠，能够反映肌肉活动的频率特性。

（二）运动学数据验证结果

1. 手开合运动（HO/HC）：在 HO/HC 运动中，从 Vicon 数据观察到，由于要求受试者保持手臂固定，仅手部运动，所以肘部和肩部关节角度变化较小。而手指关节，如食指、中指、无名指和小指的掌指关节以及拇指的相关关节，在 HO/HC 运动中角度变化较大，呈现出明显的双峰分布，这是因为考虑了 HO/HC 运动及中间休息阶段（见补充图 1、2）。
2. 手腕运动：对于手腕屈伸（WF/WE）和旋前旋后（WP/WS）运动，同样因为手臂固定，肘部和肩部关节角度变化较小，而手腕关节角度变化较大。并且，在这些运动中，关节角度变化也呈现双峰分布（见图 7）。
3. 其他抓握和伸手运动：在不同抓握任务中，如圆柱形抓握、球形抓握、三指抓握等，各关节运动情况不同。圆柱形抓握比球形抓握需要更少的手指关节运动，三指抓握主要涉及拇指、食指和中指的运动，拇指对掌主要引起拇指关节运动。在伸手抓握运动中，如正面伸手、伸手抓握圆柱形或球形物体等，肘部和肩部关节角度变化较大；而在 Pour 和 EatFruit 等涉及物体操作的复杂运动中，所有考虑的关节都参与其中（见图 8）。

（三）触觉数据验证结果

触觉数据反映的是手套内压阻材料电阻变化，与接触几何形状和接触力有关，虽不能直接对应力或压力，但可用于分析力的分布。比较不同任务发现，涉及物体接触的任务传感器读数明显高于无接触任务。例如，手开合任务中，手张开时传感器活动少，手闭合时大部分手掌和手指传感器活动高。在无物体接触任务中，拇指对掌因织物变形有显著传感器读数。在有物体接触的任务中，球形抓握使力沿手掌分布更均匀，圆柱形抓握更集中在指尖；三指抓握和拧螺丝任务中，拇指、食指和中指指尖传感器活动集中，同时无名指和手掌也有明显活动（见图 9）。

（四）数据分段与任务持续时间结果

通过基于运动学数据的自动或手动分段方法，成功将每个任务的记录分割为 10 次重复。以一名受试者的手张开任务为例（见图 10），分割后的运动学数据与双极和高密度 EMG 数据中肌肉激活和休息阶段相对应。评估任务持续时间发现，简单运动平均耗时 1.53±0.66 s，复杂运动（包括伸手和抓握）平均耗时 2.61±1.45 s（见图 11）。

四、研究结论与讨论

（一）研究结论

本研究构建了 Reach&Grasp 多模态上肢运动数据集，涵盖 10 名健康志愿者执行 16 项任务时的肌电（双极和高密度）、运动学（运动捕捉系统和传感器手套）和触觉数据。数据按照 BIDS 标准存储在 IIT Dataverse 上，方便研究人员获取和使用。通过对数据的验证分析，表明该数据集能够有效反映上肢在简单和复杂运动中的各种特征，包括肌肉活动、关节运动和触觉反馈。

（二）讨论

该数据集的优势明显。多种信号类型的结合，为研究上肢运动提供了更全面的视角。与传统仅依赖肌电或运动学数据的研究相比，增加的触觉数据丰富了对与外部环境交互信息的了解。例如，在假肢控制研究中，这些多模态数据可用于开发更精准、更智能的控制算法，提高假肢的实用性和用户体验。同时，数据集的构建遵循 BIDS 标准，增强了数据的规范性和可扩展性，有利于不同研究之间的数据共享和对比分析。

然而，研究也存在一定局限性。触觉数据虽能反映力的分布趋势，但由于手套未校准，无法精确量化力的大小，这在一定程度上限制了对接触力学的深入研究。未来研究可以考虑对触觉传感器进行校准，获取更精确的力数据。此外，实验参与者均为健康个体，对于有上肢功能障碍的人群，数据集的适用性需要进一步验证。后续研究可以扩大参与者范围，收集不同病理状态下的上肢运动数据，完善数据集的多样性。

总体而言，Reach&Grasp 数据集为上肢运动研究提供了宝贵资源，无论是在基础运动控制研究，还是在假肢、机器人等应用领域，都具有重要的科学价值和应用前景。它为探索上肢运动的生理机制、开发新型控制算法和智能设备奠定了坚实基础，有望推动相关领域取得新的突破和发展。