OccMesh：利用毫米波信号实现遮挡感知的多用户3D人体网格重建

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》：OccMesh: Occlusion-aware Multi-user 3D Human Mesh Reconstruction Using mmWave Signals

多用户遮挡感知3D人体网格重建系统OccMesh基于毫米波信号实现人体骨骼检测与网格重建，创新性地采用RBF价值估计器分离用户点云并定位人体，结合ResGCN-Attention-Block模型推断遮挡部分骨骼并完成网格重建，实验验证其在多人重叠场景下的精度和鲁棒性。

　　

摘要

如今，3D人体网格重建技术在元宇宙中引起了广泛关注，用于构建数字人类模型。现有的主流解决方案基于视觉技术，但这些方法存在隐私泄露问题，并且受光照条件的影响较大。为了实现更加注重隐私保护和抗光照干扰的重建方法，近期研究开始利用射频信号来实现3D人体网格重建。然而，这些技术无法处理多用户场景中的遮挡问题（如用户之间距离过近或身体部分重叠的情况）。本文提出了一种具备遮挡感知能力的3D人体网格重建系统OccMesh，该系统使用毫米波信号来估计人体骨骼结构并重建存在遮挡的用户的人体网格。OccMesh首先通过毫米波信号检测目标对象并生成点云，然后对点云进行分割以识别和定位每个用户。接着，利用专门设计的RBF值估计器来确定多个用户的人体关键点。当多个用户距离过近或身体部分重叠时，OccMesh会利用基于ResGCN-Attention-Block的骨骼推断器来识别被遮挡的人体部位，并重建这些用户的骨骼结构。基于生成的骨骼信息，OccMesh进一步重建处于遮挡状态下的用户的人体网格。在真实遮挡场景中进行的实验验证了OccMesh在多用户3D人体网格重建方面的准确性和鲁棒性。