无缝机织多传感器智能服装监测与量化动态上肢运动的中文标题

本文介绍了一种采用计算机数控（CNC）针织技术制备的无缝多传感器智能上衣，可实时监测肩、肘等多自由度（DOF）关节运动，并通过回归模型将传感器信号转化为关节角度，结合人机工程学软件评估肌肉疲劳指标（%MVC和%DC）。与Vicon运动捕捉系统对比验证显示，该智能服装在动态上肢动作监测中具有高精度（RMSE最高0.787% %MVC和1.896% %DC）和良好应用潜力，为可穿戴健康监测提供了创新解决方案。

　　

1 引言

智能服装作为一种轻量、可拉伸且可定制的可穿戴技术，为动态人体运动监测提供了新颖的解决方案。这类服装通过将柔性传感器与电子元件网络（如导线/互连、电阻等）嵌入衣物中，能够在用户关节运动时产生相应的电阻或电压变化信号。分析这些信号变化可以量化用户动作相关的关节角度，并进一步预测因异常姿势和/或重复动作引起的肌肉疲劳。这些预测有助于评估肌肉骨骼（MSK）疾病风险，并为纠正姿势或运动提供依据。

与传统运动记录系统相比，智能服装在便携性、连续数据采集、定制化和舒适性方面具有显著优势。光学和放射学系统虽精度高且被视为金标准，但成本高昂且局限于实验室或临床环境。数字倾斜仪同样具有高精度，但需要训练有素的检查人员评估身体运动，且仅限于记录单平面运动。惯性测量单元（IMU）易受磁干扰和温度波动影响，且需要定期校准以克服漂移问题。

当前大多数智能服装研究将传感器和导线视为与基础服装分离的实体，通过缝纫、医用胶带、3D打印支架等手动后处理方法将这些组件附加到服装上。另一种方法是采用自动化纺织制造方法，在纺织构造过程中无缝制造传感器和电路。例如，计算机数控（CNC）针织或编织系统可通过混合导电和介电纱线在单一制造步骤中制造传感器和电路。CNC针织的优势在于能够在任意区域高分辨率地设计传感器和导线/互连，将其定位在特定解剖区域或经历显著皮肤应变的区域，从而敏感地捕捉关节角度的微小变化，提高运动捕捉的整体准确性。

2 多传感器服装的设计与CNC针织

本研究开发了一种贴身机器针织智能服装，使传感器能够测量穿着者身体运动时的皮肤拉伸程度。传感器位置通过3D扫描单名健康男性受试者的各种姿势确定，代表了其肩肘运动的全部范围。扫描在身体主导左侧进行，生成的网格与参考基线位置（外展84°）比较，识别肩肘区域的高拉伸皮肤应变区域。

这些区域确定了4个线性应变传感器的位置：3个传感器平行位于肩关节周围（锁骨和肩胛骨区域），长度介于132至145毫米之间；1个传感器位于肘关节周围（鹰嘴区域），长度为180毫米。使用3个肩部传感器组合是为了捕捉受试者矢状面、冠状面和横断面的多自由度旋转肩部运动，而单个肘部传感器足以捕捉矢状面的旋转。

智能衬衫在Shima Seiki WHOLEGARMENT MACH2XS153-15L针织机上针织而成。受试者的上身体尺寸被测量以创建类似缩短躯干上衣的针织图案。4个应变传感器被映射到服装主体上，并绘制互连以将传感器连接到容纳定制印刷电路板（PCB）的口袋。该口袋位于左胸上部区域。

机器针织技术使智能上衣由三种纱线制造：1）高弹性氨纶纱；2）两种类型的导电镀银纱。较高电阻纱线作为应变传感器针织，在拉伸时提供较大的电阻变化，而较低电阻纱线作为互连针织，保持这些数据传输路径的整体低电阻。整个上衣在单一制造步骤中无缝构建，后处理最少。

当受试者穿着智能衬衫进行各种活动时，变化的肩肘关节角度导致应变传感器拉伸/收缩，从而增加/减少其电阻。这些变化的传感器信号由印刷电路板（PCB）记录，数据以.CSV文件形式写入板载SD卡。

3 肩肘关节角度测量

针织智能上衣捕捉身体运动相关的电阻/电压变化。本研究使用运动捕捉光学系统Vicon（Oxford Metrics Ltd.）提供受试者关节角度的“地面实况”。受试者穿着针织智能上衣，12个反光球形标记通过Velcro带粘贴在手臂4个不同区域。

当受试者执行动作时，Vicon相机通过检测3D物理空间中的这些标记作为x、y、z坐标来记录关节运动。随后通过参考肩部到上臂区域的中心标记坐标计算肩关节角度（SH_vert, SH_horz），以及肘部到手腕区域的中心标记坐标计算肘关节角度（E_vert, E_horz）。

受试者执行了一个拾取保持活动，模拟在胸部高度取物并在视线以上高度重新定位或使用物体。该活动类似于日常分拣任务或工厂流水线上的装配工作。捕获的运动充分涉及肩肘关节的复杂多平面运动，同时在垂直和水平轴上不断旋转。这些运动由Vicon运动捕捉系统同时捕获。

随后，受试者执行4种不同的基本全范围运动（ROM）动作，由智能多传感器服装和Vicon系统同时捕获。这4个动作覆盖肩部的三个自由度和肘部的一个自由度，即：肩屈曲-伸展、肩外展-内收、肩水平外展-内收和肘屈曲-伸展。绘制的传感器信号在不同组间表现出良好的一致性，具有不同的间隔，指示每次重复的开始/结束，以及不同的中心峰/谷，指示受试者达到动作全范围运动的点。

需要多个传感器的事实在使用者执行ROM动作时变得明显。比较传感器读数和Vicon关节角度表明，每个动作有1到3个主导传感器，对特定的肩或肘运动产生显著的电压变化。例如，肩外展-内收动作显示传感器1和2的读数在最高和最低记录值之间有0.76和0.71V的大电压差异。这些大电压差异归因于动作期间特定传感器相比其他传感器经历更高的应变。相反，传感器3和4的电压变化显著较低，分别为0.45V和0.27V。

我们的回归模型使用上述4个ROM动作的数据集进行训练，使用所有4个针织传感器和Vicon关节角度的数据集。传感器信号首先与Vicon关节角度同步，以考虑传感器之间的微小延迟。使用每个应变传感器的去噪信号，为每个关节角度（SH_vert, SH_horz, E_vert, E_horz）编写二阶二项式方程，将每个信号参数（S1、S2、S3、S4等）与其独特系数（a、b、c、d等）配对，并添加常数。使用二阶方程旨在防止曲线过拟合，使方程能够推广到其他上体活动。

使用径向基函数优化算法（Opossum插件）推导不同系数的数值。所有4个ROM动作在优化运行中被引用，目标是最小化动作间的平均偏差。最终方程通过将传感器信号转换为先前执行的拾取保持活动的关节角度进行评估。该活动不是训练数据集的一部分，因为它具有更复杂的肩肘关节同时运动的组合。

通过输入优化后的系数和传感器读数到4个相应关节角度SH_vert、SH_horz、E_vert、E_horz的方程中，获得关节角度-时间曲线。建模的针织传感器曲线显示出与各自Vicon关节角度曲线相似的轮廓。与Vicon关节角度相比，从智能服装推导的关节角度的均方根误差（RSME）为SH_vert12.78°、SH_horz3.27°、E_vert15.38°、E_horz10.72°。虽然这些RSME值表明我们的回归模型和/或智能服装有改进潜力，但这些值在IMU测量复杂多平面上肢活动时的精度范围内。

4 从关节角度预测肌肉疲劳

转换后的肩肘关节角度被用作人机工程学软件（3DSSPP）的输入，以预测肌肉疲劳。结合人体测量数据和施加在受试者手上的三种不同负载（“轻”、“中”、“重”），人机工程学软件构建了多个帧以可视化拾取保持活动的连续运动。该软件还为运动的每一帧生成局部疲劳报告，提取两个关键肌肉疲劳标志： duty cycle limit (%DC) 和 maximum voluntary contraction (%MVC)，针对左肩关节的外展/内收运动。

Vicon和智能服装之间的%DC和%MVC结果在不同手部负载的最大输出值之间几乎没有偏差。比较还显示“拾取”和“释放”阶段之间的平均偏差和RMSE较低。此外，“重”负载%DC和%MVC图表明，在这两个阶段，智能服装和Vicon系统的曲线几乎相同。

5 讨论

本研究为如何在现实生活环境中监测和量化复杂的3D上体运动和肌肉疲劳提供了前景广阔的展望。关节运动可以以非侵入性方式无线记录，不影响穿着者的日常活动。此外，智能服装可以作为轻量、透气、可拉伸的内衣与衬衫或上衣一起穿着。与使用外部佩戴或附加的硬电子产品（如智能手表或其他传感设备）相比，这种服装可以提高用户依从性。

此外，这种自动化和无人监督的监测人体运动的方法可以通过减少传统上需要对患者进行的手动评估次数而使临床医生受益。输出数据还作为患者身体状态的量化评估，不过度依赖临床医生评估的经验和专业知识。

此外，该系统可应用于从事重复性和潜在 strenuous 活动的各种人群，从工厂相关工作环境到职业运动员。重建用户姿势和运动并估计肌肉疲劳标志的能力告知用户如何纠正姿势以降低肌肉过度紧张和/或受伤的风险。

6 结论

总之，我们展示了一个概念验证的智能服装和计算工作流程，包括：i）一个无缝机器针织的智能上衣，带有4个集成应变传感器和互连网络，当穿着者执行各种上体动作时记录电压信号的变化；ii）一个回归模型，通过4个ROM上体动作训练，将这4个传感器电压信号转换为肩肘关节角度；iii）一个通过将关节角度和人体测量数据输入人机工程学软件来预测基于%DC和%MVC的肌肉疲劳的系统。

这种智能多传感器服装和计算工作流程共同实现了从多个传感器读数数字重建多自由度关节运动。通过比较从金标准Vicon运动捕捉提取的关节角度与从智能上衣转换的关节角度，使用拾取保持活动评估该工作流程。人机工程学软件的输出证明两个数据集之间有良好的一致性，具有低RMSE值，肌肉最大自主收缩（%MVC）最高为0.787%， duty cycle limit (%DC)为1.896%。

未来工作包括：1）设计和针织连接到单个PCB的双侧传感器和互连，用于完整的肩肘监测；2）为PCB添加蓝牙功能，以无线传输传感器信号到接收计算机或应用程序；3）开发自适应机器学习算法，以实时去噪并将传感器信号转换为上体关节角度和/或肌肉疲劳标志；4）为不同性别和体型定制和评估智能服装；5）表征和提高智能服装的耐洗性。

7 实验部分

3D扫描与皮肤应变分析

招募一名男性受试者进行本研究，该研究经人体生物医学研究机构审查委员会（IRB）批准（HBR-21-00432）。白色3D打印聚乳酸（PLA）半球形标记，直径12毫米，使用双面胶带以网格状方式粘贴在受试者皮肤上，间距20毫米。这些标记位于受试者左肘区域（共143个标记）和肩部区域（共323个标记）。受试者通过定位其肩或肘关节采取给定姿势，并在3D扫描期间保持静止。扫描使用ARTEC Eva结构光手持扫描仪（分辨率：±0.2毫米）（Artec 3D, Luxembourg, Luxembourg）进行。

受试者最初以解剖位置扫描身体。然后受试者采取其他姿势，使用测角仪在相应的肩/肘关节测量关节角度，以解剖位置作为起始位置。这些姿势包括：肘部：屈曲（94°），屈曲旋前（94°）带内旋（8°），屈曲旋后（93°）带外旋（5°），拾取，保持；肩部：预屈曲（11°），屈曲（134°），内收（20°），外展（84°），水平内收（70°），外展（130°），拾取，保持。

3D扫描后，观察到几个标记无法正确记录用于肩关节解剖位置，因为它们在扫描过程中被上臂遮挡。因此，指定一个新的参考基线位置为外展（84°），受试者手臂沿冠状面接近平行于地面伸展。外展（84°）在本文中称为基线位置。

每个姿势的扫描在ARTEC Studio软件中对齐，点云数据融合为立体光刻（.STL）网格。该网格导出到MATLAB以提取标记位置，同时手动播种标记以确保姿势与解剖位置之间的点对点对应。一旦验证，使用最佳拟合球近似标记中心以识别它们在皮肤上的位置。从标记中心构建三角网格作为参考生成网格顶点。每个姿势的网格与基线位置的网格基于von Mises应变进行比较。每个网格面根据区域将经历的应变程度单独着色，张力区域以黄色 shades，压缩区域以深蓝色 shades着色。连续的黄色区域被识别为高皮肤应变区域，并用作衬衫上应变传感器位置的估计。

针织带有集成电子元件的智能服装

数字针织过程是通过连续纱线逐行构造针迹来无缝创建智能服装。该智能服装由三种不同类型的纱线材料构成：i）非导电空气覆盖纱（ACY），由氨纶（100D）和DTY聚酯（300D）制成；ii）镀银聚酰胺纱（Shieldex 235/36 dtex 2-ply HC+B，平均电阻：49.93 Ω m^?1）；iii）镀银Zylon/PBO（Lyofil^? 166，平均电阻：4.38 Ω m^?1）。

纱线（i）是一种低模量、高拉伸能力的介电纱线。该纱线构成服装主体，并作为Purl针迹图案（手工针织中称为Garter针迹）针织。此外，Rib针迹图案用于袖口，以在受试者手上提供更紧的贴合。在胸部区域整体针织了一个半规格口袋（即针织时每隔一针跳针）。

应变传感器由纱线（i）和（ii）作为交替横列（即行）的Rib 1×1针迹（即1行纱线（i）后接1行纱线（ii））针织而成。为了创建传感器，首先将介电（聚酯覆盖氨纶）纱线针织为一排针迹，然后在其上方创建一排新的导电纱线。这排新的导电纱线针迹替换针上的介电纱线，过程重复直到形成预定长度的传感器。这些传感器仅在纵行方向（WW）（即WW平行于生产方向）针织。针织传感器在拉伸或弯曲时改变其电阻。拉伸纺织品会延长线圈，增加彼此之间的距离，从而减少导电镀银聚酰胺线圈之间的接触点数量。因此，接触点的减少使整体电阻与针迹图案经历的拉伸量成比例增加。传感器平均初始电阻为3.29 Ω，当拉伸至2.2倍时，该读数增加至>13倍。此外，多材料传感器的针织方式保持了导电纱线的连续性，确保在重复应变下具有连续的传感信号。

互连由纱线（iii）以2种不同的针迹图案针织，取决于互连具有纵行方向（WW）或横列方向（CW）取向（即CW垂直于生产方向）。WW互连使用Linen 1×1针迹图案，CW互连使用Knit-Miss 1×1针迹图案。纱线的低电阻结合这些针迹图案使电信号能够通过纱线传输且损耗最小。WW和CW互连的平均初始电阻分别为0.28和0.44 Ω。此外，这些针迹图案在伸长至原始长度2.2倍时显示其接触点变化很小。互连的恒定电阻确保即使互连经历高达100%或更高的高拉伸应变，传感器信号的变化也微不足道。

与口袋重叠并与PCB接口的互连以半规格针织。半规格针织间隔开线圈，这为印刷电路板上的男性按扣提供了足够的间隙以插入线圈。

印刷电路板（PCB）布局

PCB由一个焊接在定制设计的分线板上的Arduino MKRZero板组成。MKRZero板首先被解焊以移除引脚接头，然后焊接到分线板上。随后，不同的组件，如电阻器、LED、按扣等，被焊接到组装的电路板上。在分线板的背面，有7个引脚，6个模拟引脚和1个接地引脚，每个都焊有一个“母”按扣。本研究中仅使用了这些按扣中的5个（4个模拟和1个接地引脚），并使用公按扣连接到智能服装上以固定它们。

运动捕捉系统与计算关节角度

使用Vicon运动捕捉系统（Oxford Metrics Ltd.）记录受试者的运动。该系统包括8个T160红外相机单元，定位在约15平方米的室内空间内。12个反光球形标记使用Velcro带附着在受试者的左臂和智能上衣上。特别注意避免将标记粘贴得太靠近或直接贴在应变传感器上，因为这可能会干扰传感器读数。标记以3个为一组，在肩部（SH）、上臂（U）、肘部（E）和腕部（W）4个位置呈三角形排列，作为参考框架。标记根据沿手臂的位置进行标记（例如，U2指上臂位置的第二个标记）。

对于关节角度的提取，每组第二个标记被引用，因为它是最接近关节的标记。肩部-2（SH2）和上臂-2（U2）用于肩关节角度，肘部-2（E2）和腕部-2（W2）用于肘关节角度。这些关节被可视化为球关节，其中水平和垂直角度基于肩或肘向量提取。例如，肩球关节以SH2作为向量的起点，U2作为终点。水平角（SH_horz）参考x轴向量（V_xaxis: 1.0, 0.0, 0.0），而垂直角（SH_vert）参考负z轴向量（V_-zaxis: 0.0, 0.0, -1.0）。

回归模型数据集与训练

回归模型使用Vicon关节角度作为“地面实况”和来自4种不同全范围运动（ROM）动作的传感器信号数据集进行训练：3种为肩部，1种为肘部。

• ?
  肩屈曲-伸展：手臂垂直向上抬起直至直接过头顶。执行此动作时，手臂保持伸直且平行于身体。运动沿矢状面进行。
• ?
  肩外展-内收：手臂垂直向上抬起，保持垂直于身体，直至手臂平行于地平面。运动沿冠状面进行。
• ?
  肩水平外展-内收：手臂水平带过胸部，保持手臂平行于地面。运动主要沿横断面进行。
• ?
  肘屈曲-伸展：上臂锁定，下臂垂直向上抬起，以肘关节为轴，同时保持上臂平行于身体。运动沿矢状面进行。

每个动作在左臂上重复5次，每次重复的开始和结束状态对于肩屈曲-伸展、肩外展-内收和肘屈曲-伸展动作返回解剖休息位置。例外是肩水平外展-内收动作，每次重复的结束状态是受试者的手保持在外展位置伸直平行于地面。动作重复3组以检查Vicon和传感器读数之间的一致性。在这些动作期间，受试者的运动同时由智能服装的传感器和Vicon运动捕捉系统记录。数据处理使用Rhinoceros软件和Grasshopper插件完成。

由于针织传感器和Vicon数据集之间的数据采样频率不同，传感器读数中的PCB数据根据Vicon的100 Hz频率重新映射，即在1秒内记录100个数据点。传感器数据具有非线性采样频率，因此这些数据点根据其记录的时间戳重新映射。然后将传感器信号与Vicon数据的时间x轴（厘秒）对齐。

此外，传感器数据集与Vicon数据集同步以考虑各个传感器之间的微小延迟。传感器信号基于以下内容对齐：

1. 1.
   峰到峰：通过匹配数据中的显著峰值，如果需要，镜像与波谷成反比的传感器信号以将波谷与峰值对齐。
2. 2.
   间隔：通过识别每个重复周期的开始和结束时间并在两个数据集之间进行匹配。

重新映射和同步后，每个数据集的第一次重复被移除，因为最初执行动作时关节角度不规则。这种不规则性可能会在训练数据时影响回归模型的准确性。

代表每个关节角度（SH_vert, SH_horz, E_vert, E_horz）的二项式方程编写如下：

θ_joint(t) = aS1 + bS2 + cS3 + dS4 + eS1S2 + fS2S3 + gS3S4 + hS1S4 + iS2S4 + jS1S3 + k

这些方程在Python脚本中编写，并在Grasshopper界面内使用Opossum插件进行优化。该插件使用基于径向的优化算法来调整系数的数值。这种调整迭代进行，以最好地将传感器信号的关节角度与所有ROM动作的Vicon关节角度匹配。附加到一阶变量（S1、S2、S3和S4）和常数的每个系数的上下界设置为-100.00至+100.00。对于附加到二阶变量（S1S2、S2S3、S3S4、S1S4、S2S4、S2S3）的系数，边界设置为-60.00至+60.00。

优化目标是最小化从传感器转换的关节角度（θ_knit(t)）与从Vicon系统提取的关节角度（θ_vicon(t)）在所有四种不同动作间的平均偏差之和。每个数据点代表实时0.01秒。优化过程设定在150个周期后若无改进则终止，并运行3次以防止值收敛于局部最小值区域。

优化周期完成后，这3组不同的系数 per joint angle equation 被输入，以将拾取保持活动的传感器信号转换为关节角度。与训练数据集类似，拾取保持活动的第一次和最后一次重复的关节角度由于关节运动不规则而被排除在比较之外。比较Vicon关节角度和智能服装关节角度以获得数据点间的平均偏差。选择对每个关节角度在4个ROM动作中产生最低平均偏差之和的系数组作为最终方程。

随后，比较了拾取保持动作的Vicon数据集和从传感器信号转换的智能服装数据集的关节角度。计算均方根误差（RMSE）以评估两个数据集之间的偏差。

生成肌肉疲劳标志物

来自针织传感器和Vicon系统的关节角度使用Python脚本转换为3DSSPP软件（密歇根大学）的批处理文件（.txt）。这些批处理文件包含每帧的肩肘关节水平和垂直角度。

此外，在这些批处理文件中添加了人体测量数据和手部负载。前者数据集包括受试者的性别（男性）、体重（62.5公斤/138磅）和身高（174厘米/5英尺8.5英寸）。基于制造车间常用手动工具的重量，指定了3种不同的手部负载（“轻”：200克/0.44磅，“中”：650克/1.43磅，“重”：1200克/2.65磅）。受试者被指定为平均力量（50%百分位数）。

这些批处理文件作为6个独立的3DSSPP文件运行，基于3种不同的手部负载以及来自Vicon和智能服装转换的关节角度。软件生成的上体运动经过视觉检查，以验证其为拾取保持动作。然后使用宏自动点击器导出每帧的局部疲劳报告。从输出.txt文件中引用肩外展/内收运动的Maximum Voluntary Contraction (%MVC)和Duty cycle limit (%DC)输出。

选择进行比较的输出是%MVC和%DC值：%MVC描述了执行活动时受试者肩部肌肉使用的力生成能力的百分比，而%DC指的是受试者执行活动而不过度用力的时间百分比。比较的持续时间是拾取保持活动的“拾取”和“释放”阶段之间，因为这是手部负载施加在模型中的时期，并且是分析肌肉疲劳的关键时期。

提取最大输出%MVC和%DC值以评估两个数据集之间的偏差。此外，将智能服装数据集和Vicon数据集之间的每个数据点进行比较，并报告%MVC和%DC的平均偏差和RMSE值。

统计分析

本研究收集了两种类型的时间序列数据：a) 针织传感器信号和b) Vicon运动捕捉点坐标。传感器数据使用MatLab中的1D小波分解算法进行预处理以去噪信号。Vicon运动捕捉数据不需要预处理。

创建回归模型的数学公式后，将针织传感器转换的关节角度与Vicon关节角度进行比较，偏差以平均偏差和RMSE呈现。随后与%MVC和 duty cycle limit 的肌肉疲劳标志物进行比较，偏差以平均偏差和均方根误差呈现。

作为概念验证系统，智能服装仅在单一用户上进行测试，智能服装根据用户尺寸定制（n = 1）。传感器信号对特定运动的可靠性将在未来研究中对多个用户进行评估。