RoboMNIST 数据集：融合 WiFi、视频与音频，开启多机器人活动识别新征程

为解决多机器人活动识别（MRAR）中数据集不完善等问题，研究人员开展 RoboMNIST 数据集相关研究。得出创建多模态数据集且验证其完整性的结果。该研究为机器人感知等领域提供资源，推荐科研读者阅读。

　　

在如今这个科技飞速发展的时代，机器人的身影越来越多地出现在我们的生活和工作中。从医疗领域中能精准进行复杂手术的机械臂，到工业生产里高效运作的自动化生产线，机器人的广泛应用给人类社会带来了巨大的改变。然而，想要让机器人更好地与我们协同工作，就像是拥有一群默契的伙伴一样，首先得让它们能像人类一样，准确感知周围的环境，理解正在发生的事情，也就是实现精准的活动识别。

在众多用于环境感知的技术里，WiFi 信号可是个隐藏的 “高手”。它原本是用来进行无线通信的，不过现在科学家们发现，通过 WiFi 信道状态信息（CSI），能获取到很多关于环境的宝贵信息。比如说，当 WiFi 信号在空间中传播时，遇到各种物体，像桌椅、墙壁，还有活动的人和机器人，信号就会发生反射、散射和吸收，这些复杂的变化都被 CSI 详细地记录了下来。利用这些信息，我们就能实现室内环境的全面感知，而且还不用额外铺设一堆复杂的传感器，既省钱又方便。

但是，光靠 WiFi CSI 还不够。视频数据能给我们展示环境里丰富的视觉信息，像是物体的位置、形状以及它们随时间的变化，就像给我们提供了一双 “眼睛”；音频数据也不甘示弱，它能捕捉到各种声音线索，比如机器人工作时发出的独特声响，帮助我们进一步了解周围发生了什么，如同给我们配上了一对 “耳朵”。把这几种数据融合在一起，就像是让机器人同时拥有了敏锐的视觉、听觉和感知无线信号的能力，能大大提升多机器人活动识别（MRAR）的准确性和可靠性，让机器人在复杂的环境中也能 “耳聪目明”。

尽管多模态数据融合有这么多好处，但目前相关的研究还面临一些挑战。一方面，现有的用于机器人活动识别的多模态数据集还不够完善，数据的丰富程度、准确性以及不同模态之间的同步性都有待提高；另一方面，如何高效地融合这些不同类型的数据，充分发挥它们的优势，也是一个亟待解决的问题。在这样的背景下，为了推动机器人感知和自主系统的发展，作者[第一作者单位] 的研究人员积极展开探索，他们的研究成果发表在了《期刊原文名称》上，论文题目是《论文原文标题》。

研究人员在这项研究中，得出了一系列令人瞩目的成果。他们成功创建了一个全新的多模态数据集 ——RoboMNIST，这个数据集就像是一个装满宝藏的盒子，为多机器人活动识别领域提供了丰富而宝贵的资源。而且，他们通过一系列实验，验证了该数据集在各个数据模态上的完整性和可靠性，这意味着这个 “宝藏盒子” 里的东西都是货真价实的。这一成果对于开发更先进的机器人决策和自适应能力有着至关重要的意义，让机器人在面对复杂多变的环境时，能够更加智能地做出反应，就像拥有了聪明的 “大脑” 一样。

为了开展这项研究，研究人员运用了几个关键的技术方法。在硬件方面，他们精心搭建了一套强大的数据采集设备。使用了两个 Franka Emika 机器人手臂，这两个 “得力助手” 能模拟各种复杂的动作。同时，配备了三个传感器丰富的模块，每个模块都集成了用于采集 CSI 数据的树莓派 4 Model B（借助 Nexmon 项目）、用于录制视频的 ZED 2 立体相机，以及用于收集音频的 CG CHANGEEK 迷你 USB 麦克风。在数据采集过程中，研究人员让机器人手臂在 3D 环境中的垂直虚拟平面上绘制数字 0 - 9，通过设置不同的活动、机器人编号、机器人速度和运动不确定性，收集了大量多样化的数据。并且，他们还开发了一套同步机制，确保不同传感器采集到的数据在时间上精准对齐，就像让所有 “小伙伴” 都在同一节奏上工作一样。

下面，让我们来详细看看研究的具体结果。

1. 实验设计与数据采集

研究人员在实验室这个 “大舞台” 上展开了实验。实验室里摆放着桌椅、显示器等各种办公物品，就像一个小小的工作场景。在这个环境中，两个 Franka Emika 机器人手臂开始了它们的 “表演”。它们被编程在垂直虚拟平面上绘制数字 0 - 9，这就产生了 10 种不同的活动类别。为了完成这些绘制动作，研究人员给机器人设定了 7 个固定的路标点。机器人每次活动都从路标点 1 出发，在完成数字绘制后再回到路标点 1。比如说写数字 7 的时候，机器人就会按照 {1, 2, 5, 7, 1} 这样的路标点顺序移动。
机器人的数量有两个，分别用 R = {1, 2} 表示。机器人的运动速度也分为高、中、低三个等级，用 V = {High, Medium, Low} 表示。为了模拟更真实的情况，研究人员还故意给机器人的运动增加了一些不确定性。他们在机器人前三个关节（q?、q?、q?）的路标点序列中，除了第一个路标点，都添加了乘性均匀噪声 ? ~ ??(0.7, 1.3)。这样一来，机器人每次重复相同动作时，轨迹都会有些许不同，就像人写字时每次也不会完全一样。通过这种方式，机器人的重复精度从原本的 0.1mm 提高到了平均 32cm。综合活动、机器人数量和速度这几个因素，一共产生了 60 种独特的基本组合。对于每一种基本组合，研究人员都收集了 32 次重复数据，每次重复持续 15 秒。

2. 各模态数据采集与特点

在这 15 秒的时间里，不同的传感器模块各司其职，收集着各种各样的数据。

• WiFi CSI 模态：WiFi 信号在传播过程中会遇到各种物体，产生多径衰落现象。研究人员通过 CSI 分析了子载波从发射器到接收器的传播情况。在每个 15 秒的重复实验中，他们以 30Hz 的频率，在 80MHz 带宽下收集 CSI 测量数据，每个时间戳有 256 个子载波，这样每个传感器丰富模块就会得到一个 450×256 的复数矩阵，并将其存储在 json 文件中。同时，还记录了每个时间戳的接收信号强度（RSS）信息。
• 视频模态：三个传感器丰富模块中的 ZED 2 立体相机发挥了重要作用。它们以 30Hz 的频率同步录制视频，与 CSI 测量频率一致。每个相机的分辨率为 2560×720 像素，左右镜头的帧会水平拼接在一起。这样，每次重复实验就能得到 3 个相机，每个相机 2 个镜头，总共 6 个视频，从不同角度记录下机器人的活动。
• 音频模态：音频信号蕴含着丰富的环境信息。研究人员从每个传感器丰富模块以 44100Hz 的采样率收集音频数据，并且保证其开始和结束时间与其他模态同步。为了更好地分析音频数据，他们还对音频文件进行预处理，计算其频谱图。
• 真实轨迹：研究人员还记录了机器人的真实关节位置。以 30Hz 的频率，同步于 CSI 和视频测量，将机器人 7 轴旋转关节的每个关节位置（q?到 q?）以弧度为单位存储在 json 文件中。同时，还提供了机器人末端执行器在笛卡尔坐标系中的 x - y - z 位置信息。

3. 数据同步

在数据采集过程中，数据同步是个关键问题。每个模块在硬件上进行本地时间戳标记，然后将数据通过网络传输进行进一步处理。为了实现多模块数据的同步，研究人员开发了一种方法。他们将包含 CSI、视频和音频数据的数据包，每个都带有自己的时间戳，重定向到一个专门的系统 —— 监视器。监视器就像一个 “指挥官”，收集各个模块的数据包，并为数据分配同步的时间戳。通过这种方式，实现了 CSI、视频、机器人真实轨迹以及音频开始和结束时间之间的同步，为后续的多模态被动 MRAR 研究提供了全面且同步的数据集。

研究人员还对数据集进行了全面的技术验证。他们检查了机器人关节位置和速度是否在安全操作范围内，结果发现所有数据都符合要求。对于添加的运动不确定性，实际采样的路标点也都在规定的范围内。在数据同步方面，通过分析归一化互相关，验证了 WiFi CSI、视频和音频信号在不同设备之间都实现了高度同步。这一系列验证确保了数据集的质量，就像给这个 “宝藏盒子” 加上了牢固的锁，保证里面的 “宝藏” 真实可靠。

这项研究有着重要的意义。它创建的 RoboMNIST 数据集，为多机器人活动识别领域提供了一个全新的、全面的研究资源。这个数据集的多模态特性，融合了 WiFi CSI、视频和音频数据，能够帮助研究人员更深入地理解机器人在复杂环境中的活动情况。基于这个数据集，研究人员可以开发出更先进的算法，提升机器人的活动识别能力，让机器人在各种场景中都能更加智能地工作。比如说在智能家居环境中，机器人可以更好地理解人类的行为意图，提供更贴心的服务；在工业生产中，机器人能更准确地识别生产线上的操作，提高生产效率和质量。而且，该研究验证数据集完整性的方法和同步多模态数据的技术，也为后续相关研究提供了重要的参考和借鉴，推动了机器人感知和自主系统领域的进一步发展，让机器人在未来能更好地融入我们的生活，成为我们得力的帮手。