两项新研究介绍了一种人工智能系统，模拟空间的“数字双胞胎”

两项新的研究介绍了人工智能系统，该系统使用视频或照片来创建模拟，可以训练机器人在现实世界中发挥作用。这将大大降低训练机器人在复杂环境中工作的成本。

　　

研究ChatGPT等大型人工智能模型的研究人员有大量的互联网文本、照片和视频来训练系统。但训练物理机器的机器人专家面临着障碍:机器人数据非常昂贵，而且因为没有大量的机器人在世界各地漫游，所以根本没有足够的数据可以让它们在动态环境中表现良好，比如在人们的家中。

一些研究人员已经转向模拟来训练机器人。然而，即使是这一过程，通常也需要一名平面设计师或工程师，既费力又昂贵。

华盛顿大学研究人员的两项新研究介绍了人工智能系统，该系统使用视频或照片来创建模拟，可以训练机器人在真实环境中发挥作用。这将大大降低训练机器人在复杂环境中工作的成本。

在第一项研究中，用户用智能手机快速扫描空间以记录其几何形状。这个名为RialTo的系统可以创建一个模拟空间的“数字双胞胎”，用户可以输入不同事物的功能(例如打开抽屉)。然后，机器人可以在模拟中重复运动，并进行轻微的变化，以学习有效地完成它们。在第二项研究中，该团队建立了一个名为URDFormer的系统，该系统从互联网上获取真实环境的图像，并迅速创建出机器人可以训练的物理逼真的模拟环境。

在荷兰代尔夫特举行的机器人科学与系统会议上，研究小组分别于7月16日和7月19日展示了他们的研究成果。

“我们正试图使系统以低廉的成本从现实世界走向模拟，”华盛顿大学计算机科学与工程学院助理教授、两篇论文的共同资深作者阿布舍克·古普塔(Abhishek Gupta)说。“然后，系统可以在这些模拟场景中训练机器人，这样机器人就可以在物理空间中更有效地工作。这对安全来说是有用的——你不能让训练不足的机器人破坏东西伤害人——而且它可能会扩大访问范围。如果你只需要用手机扫描一下，就能让机器人在你家里工作，那就实现了这项技术的民主化。”

虽然许多机器人目前非常适合在装配线等环境中工作，但教它们与人互动以及在结构较松散的环境中工作仍然是一个挑战。

“例如，在工厂里，有大量的重复，”URDFormer研究的主要作者佐伊·陈(Zoey Chen)说，她是华盛顿大学艾伦学院的博士生。“这些任务可能很难完成，但一旦你给机器人编程，它就能一遍又一遍地做这些任务。然而，家庭是独特的，不断变化的。这里有各种各样的物品、任务、平面图和穿梭其间的人。这就是人工智能对机器人专家真正有用的地方。”

这两个体系以不同的方式应对这些挑战。

古普塔和麻省理工学院的一个团队开发的RialTo让人穿过一个环境，并拍摄其几何形状和运动部分的视频。例如，在厨房里，他们会打开橱柜、烤面包机和冰箱。然后，该系统使用现有的人工智能模型——人类通过图形用户界面快速完成一些工作，以显示事物的运动方式——创建视频中显示的厨房的模拟版本。虚拟机器人通过在模拟环境中反复尝试诸如打开烤箱之类的任务来训练自己，这种方法被称为强化学习。

通过在模拟中经历这一过程，机器人在该任务中有所提高，并在环境干扰或变化的情况下工作，例如放在烤面包机旁边的马克杯。然后，机器人可以将这种学习转移到物理环境中，在那里它几乎和在真正的厨房中训练的机器人一样精确。

另一个系统URDFormer不太关注单个厨房的相对高精度;相反，它快速而廉价地变出数百种通用的厨房模拟。URDFormer扫描来自互联网的图像，并将其与现有的模型配对，例如，这些厨房抽屉和橱柜可能会如何移动。然后，它根据最初的真实世界图像预测出一个模拟结果，使研究人员能够在各种环境中快速、廉价地训练机器人。代价是这些模拟的准确性明显低于RialTo生成的模拟。

“这两种方法可以互补，”古普塔说。“URDFormer对于数百种场景的预训练非常有用。如果你已经预先训练了一个机器人，现在你想把它部署在某人的家里，并有95%的成功率，RialTo就特别有用。”

展望未来，RialTo团队希望将其系统部署到人们的家中(主要在实验室进行了测试)，古普塔表示，他希望将少量现实世界的训练数据与系统结合起来，以提高它们的成功率。

古普塔说:“希望只需少量的真实数据就能解决这些问题。”“但我们仍然需要弄清楚如何最好地将在现实世界中直接收集的数据与在模拟中收集的数据结合起来，这是昂贵的，这是便宜的，但略有错误。”