面向人以及携手的通用灵巧抓握方向取得研究进展

　　

近日，北京大学人工智能研究院朱毅鑫助理教授、杨耀东助理教授及合作者在ICRA 2023 论文 GenDexGrasp:Generalizable Dexterous Grasping的介绍。

本文共同一作为李浦豪[1,2]、刘腾宇[1]，其他作者李宇飏[1,2]、耿逸然[1,3]、朱毅鑫[3]、杨耀东[1,3]、通讯作者?思远[1]。

分别来自以下单位：1. 北京通用人工智能研究院 2. 清华大学 3. 北京大学。

图1：可泛化通?抓握

机械手使用?前的抓握算法虽然已经可以实现?较稳定地抓握物体，然?对比?类的抓握能?，我们发现在可抓握物体的通?性和多样性上都还远远不足。?类除了使?全部?指的完全抓握外，在?些?指不可?的时候还可以?常?效地使?两个或三个?指进?抓握。同时，当我们想象我们拥有其他形状的?（?如章?触?或者鹰?）时，可以在短时间内想象出如何使?新的?稳定地抓住物体。为了实现接近?类?平的可泛化多样灵巧抓握，本?提出了GenDexGrasp，?种新颖的?向任意?的抓握算法。与以前的通?抓握算法相?，GenDexGrasp在成功率、推理速度和?成多样性之间实现了三??的平衡。

在本?中，我们将通?灵巧抓握定义为针对从未?过的机械?和观察到的物体?成抓握姿态的问题。我们从速度、多样性、泛化能?三个??评估通?灵巧抓握。现有?法最多只能在其中的两个??实现可接受的效果。

图2：GenDexGrasp?法概览图

为了在这三个??实现平衡，我们设计了?向任意?的灵巧抓握算法GenDexGrasp。?先使?条件变分?动编码器（cVAE）为给定物体?成?向任意?的接触?。

接下来，通过优化?的姿势以匹配?成出来的接触?。最后，通过物理模拟进?步优化抓握姿态，以确保接触在物理上是可?的。GenDexGrasp通过减少对?结构的假设来提供泛化性，并通过改进接触?的计算?式和?效的优化?案实现快速推理，通过随机初始化的变分?成模型实现多样化的抓握?成。

图3：对?距离（aligned distance）?意图

其中(b)、(d)表?欧?距离以及在欧式距离下(a)图所?抓握对应的接触?；(c)、(e)表?对?距离以及在对?距离下(a)图所?抓握对应的接触?。

为了解决抓握优化过程中接触?的歧义性（尤其是对于薄壳物体），我们设计了?种新颖的度量?式“对?距离”（aligned distance）来计算物体表?点与?之间的距离，它有助于表?抓握?成的准确接触?。具体??，传统的欧式距离会在接触薄壳物体?侧时错误地将薄壳的两侧都标记为接触点，?对?距离则考虑了接触点的?向和物体表?的法线，并纠正了这些错误。

为了学习?向任意?的接触?，我们使??闭合优化[1]收集了?个?规模的多?数据集MultiDex。MultiDex包含5只?和58个家庭物品的436,000个多样化抓握姿态。

通过实验证明我们的?法能够分别在没?过三指、四指、五指机械?抓握的情况下?成对应机械?的多样抓握姿势。表1通过定量实验表明我们的?法可以实现质量、速度、多样性三?的均衡。

图4：GenDexGrasp在三指机械?（Barrett，第??）、四指机械?（Allegro，第??）和五指机械?（Shadowhand，第三?）的?成结果。

在?成每??结果时，GenDexGrasp均未在训练数据中?过对应指数机械?的抓握数据。

表1：定量实验结果，表明我们的?法?次同时在成功率、多样性和推理速度三个??实现均衡。

本?介绍了GenDexGrasp，?种通?的灵巧抓握?法，可以泛化到任意的机械?。通过利?接触?作为中间表?、?种测量?到点距离的新型对?距离以及?种新型抓握算法，GenDexGrasp可以在合理的推理时间内?成多样化和?质量的抓握姿态。

定量实验表明，我们的?法?次在质量、多样性和速度之间实现合理的平衡。此外，我们为灵巧抓握收集了?个?规模的合成数据集MultiDex。MultiDex中包含了具有五个具有不同运动学结构的机器??、常?的家庭?品和多样化的抓握姿态。