基于肌肉骨骼模型生成人体运动合成图像的数据集构建与姿态估计应用

《Scientific Data》：Generating synthetic images of human skeletal motion for pose and kinematics estimation tasks

为解决监督学习人体姿态估计(HPE)模型训练数据标注不准确、覆盖范围有限的问题，研究人员开发了基于OpenSim肌肉骨骼(MSK)建模的合成图像生成软件。该工作流通过SKEL生成SMPL皮肤网格，在Godot游戏引擎中集成MSK运动学数据，生成包含关节中心3D位置等精准标注的合成图像。研究成果显著提升了HPE模型在生物力学分析中的准确性，为运动分析提供了更可靠的训练数据源。

　　

在当今计算机视觉和生物力学研究的交叉领域，人体运动分析正经历着革命性的变革。传统的光学运动捕捉系统虽然精度高，但昂贵的设备和复杂的后期处理流程限制了其广泛应用。近年来，基于卷积神经网络的人体姿态估计(HPE)模型展现出巨大潜力，只需普通摄像头就能跟踪解剖标志点，有望使运动分析变得更加经济高效。然而，这些模型的训练需要大量标注图像，而现有真实图像数据集如COCO和MPII存在明显局限性——标注通常由非解剖学专业人士完成，关键点位置不够精确，且特定运动条件下的图像覆盖不足。

面对这一挑战，芬兰东部大学等机构的研究团队在《Scientific Data》上发表了一项创新研究，开发了一套能够生成人体运动合成图像的软件工具。该研究的核心思路是利用肌肉骨骼(MSK)建模计算运动学数据，进而生成具有精确解剖学标注的合成图像。这种方法不仅解决了标注准确性问题，还能通过控制相机角度、背景、身体形态等视觉因素，从少量骨骼姿势生成任意数量的图像变体。

研究方法主要包含三个关键步骤：首先创建与MSK模型匹配的逼真人体网格，通过Blender软件进行骨骼绑定和蒙皮处理；然后在Godot游戏引擎中重建MSK模型运动学，将OpenSim模拟的运动学数据应用于可视化人体化身；最后生成包含2D关键点标注、边界框、深度信息和掩码图像的综合数据集。

技术实现方面，研究团队开发了SkeletonTracker C++类来集成OpenSim API，通过Godosim类提供GDScript绑定。这种方法允许直接从MSK模型提取身体段和关节的全局3D变换、虚拟标记位置以及广义坐标值。为了处理网格变形，他们创新性地引入了控制骨骼概念，将MSK运动学应用于控制骨骼而非直接应用于段骨骼，从而确保皮肤网格变形的真实性。

数据生成与标注

研究团队生成了包含10万张标注图像的样本数据集，分为“真实”和“随机”两个子集。真实运动子集包含来自现有运动捕捉数据库的28种运动类型的5000帧运动学数据，随机子集则通过均匀分布生成5000帧运动学数据。数据集提供了丰富的图像变体，包括5种不同体重的男女性别变体、50种皮肤纹理、500种服装纹理以及70种HDRI背景。

标注信息包括2D关键点坐标、边界框、关键点深度、可见性标签和掩码图像。关键点标注直接来源于MSK模型的关节中心、身体段和虚拟标记位置，通过相机投影转换为2D像素坐标。可见性计算采用射线投射方法，统计相机与解剖标志点之间的碰撞体数量，公式化为visibility=1/(1+N)，其中N为检测到的碰撞体数量。

技术验证

研究团队通过将生成的关键点标注与OpenPose BODY_25 HPE模型的检测结果进行对比，验证了标注的有效性。欧几里得距离分析显示，两种方法对关节的定位具有一致性，证实了从OpenSim模拟中自动投影3D关节位置到2D图像的技术可行性。边界框生成方面，研究评估了不同顶点采样步长对边界框尺寸的影响，确定步长参数25结合30像素填充能够有效平衡计算效率和精度。

运动学分布分析显示，真实运动与随机生成的运动在广义坐标值分布上存在显著差异。真实运动呈现自然的人体运动模式，而随机运动则分布更均匀。这一发现对训练运动学估计模型具有重要意义，需要在训练过程中通过加权或采样策略平衡数据偏差。

研究结论与意义

这项研究开发的工作流成功实现了从MSK模型运动学数据生成精确标注的合成图像，为HPE模型训练提供了高质量数据集。与现有真实图像数据集相比，该方法生成的标注具有更高的解剖学准确性，且能灵活控制图像条件和运动类型。技术框架的三个共享层级（样本数据集、预构建应用程序和源代码）满足了不同用户群体的需求，促进了研究结果的可重复性和可扩展性。

该研究的创新之处在于将MSK建模与游戏引擎技术相结合，实现了生物力学分析与计算机视觉的无缝集成。通过直接从MSK模型提取标注信息，避免了人工标注引入的误差，为生物力学研究中运动分析提供了更可靠的数据基础。未来，该方法可扩展到更多运动类型和病理条件，推动精准医疗和个性化运动分析的发展。