基于深度数据与上肢损伤对轻量化单目 RGB 人体姿态估计模型的影响研究：为康复领域开启新篇

《BioMedical Engineering OnLine》：The effect of depth data and upper limb impairment on lightweight monocular RGB human pose estimation models

为解决康复领域数据收集问题，研究人员开展了深度数据和上肢损伤对轻量化单目 RGB 人体姿态估计（HPE）模型影响的研究。结果显示早期融合深度数据可提升 HPE 模型的精度 - 效率平衡，且模型精度不受肢体损伤影响。这为康复数据收集提供了新方向。

　　在康复医学的广阔领域中，精准量化运动表现对评估治疗效果和实现个性化治疗至关重要。传统的基于标记的光学运动捕捉（MoCap）系统虽精度高，却如同 “笨重的大象”，不仅设备昂贵、搭建耗时，还只能在实验室特定环境下收集数据，严重限制了数据的多样性和数量。随着深度学习的蓬勃发展，基于视频数据的人体姿态估计（HPE）技术崭露头角。它成本低、使用方便，能摆脱场地限制收集大量数据。然而，目前的 HPE 模型存在两大关键问题：一是深度数据利用不足，3D RGB HPE 模型常受深度模糊困扰，虽 RGB - D 数据能解决此问题，但多数模型未充分利用；二是模型多基于健康人数据训练，在康复场景中对有肢体损伤患者的适用性存疑。

为攻克这些难题，来自加拿大的 KITE 研究所、多伦多大学等机构的研究人员 Gloria - Edith Boudreault - Morales、Cesar Marquez - Chin 等人开展了深入研究，成果发表于《BioMedical Engineering OnLine》。

研究人员主要采用了以下关键技术方法：首先，选取了 CMU Panoptic、Human3.6M 公共数据集及自定义数据集（包含 15 名未受伤者和 12 名中风患者的 RGB - D 和光学运动捕捉数据）。其次，选择 Dite - HRNet（用于 2D HPE）和 MobileHumanPose（用于 3D HPE）这两个轻量化单目 RGB HPE 模型，并运用早期融合（CH）、简单中间融合（Cat）和复杂中间融合（Fuse）三种技术将深度数据融入模型。最后，通过平均关节位置误差（MPJPE）、浮点运算次数（FLOPs）和帧率等指标评估模型性能。

研究结果如下：

1. 深度数据对轻量化单目 HPE 模型的影响
   • 对精度的影响：在不同数据集测试中，CH 方法通常能使模型获得更低的 MPJPE。以 Dite - HRNet 模型为例，在 CMU 数据集训练和测试时，CH 模型的 MPJPE_pix为 18.86 像素，低于 RGB 模型的 25.70 像素；在 SUD 数据集上，CH 模型的 MPJPE_pix均值为 11 像素，同样表现更优。MobileHumanPose 模型也呈现类似趋势，在 H3.6M 数据集训练和测试时，CH 模型的 MPJPE_mm为 72.52 毫米，比 RGB 模型的 463.95 毫米低很多。不过，在 2D HPE 中，随着训练数据增加，深度数据带来的优势会减弱；而在 3D HPE 中，优势则会增强。
   • 对计算效率的影响：从 FLOPs 来看，RGB 版本模型最低，CH 版本紧随其后，Cat 和 Fuse 版本较高。在帧率方面，2D HPE 中 CH 方法与 RGB 模型相近或略高，Cat 和 Fuse 模型则较慢；3D HPE 中模型复杂度增加（FLOPs 增多）时帧率下降，CH 模型速度仅次于 RGB 模型。
   
   
2. 身体损伤对轻量化单目 HPE 模型的影响：利用自定义 SUD 数据集，对比未受伤组和中风组的 HPE 精度。结果显示，所有模型在两组间的 MPJPE 差异均无统计学意义（所有 p 值 > 0.36），表明模型训练数据虽来自健康人，但对有身体损伤的患者同样适用。

研究结论和讨论部分意义重大。在深度数据利用方面，早期融合深度数据（CH 方法）在提升模型精度的同时，对计算效率影响较小，为 HPE 模型的优化提供了有效途径。在模型适用性上，研究首次证实身体损伤对 HPE 模型预测精度无显著影响，意味着基于健康人数据训练的模型可推广应用于康复场景，为康复医学中使用 HPE 技术提供了有力依据。这一成果有望重塑康复治疗流程，在患者层面实现更精准的运动评估和个性化干预；在系统层面，为康复过程中的数据收集提供可扩展方案，推动康复医学的发展，助力构建更完善的康复干预证据体系。但研究也存在局限性，如数据多样性不足，未来可探索更多样化数据对模型的影响，进一步优化 HPE 模型在康复领域的应用。