从人与物体的交互中学习粒度感知的可供性，以实现基于工具的功能性灵巧抓取

《IEEE Transactions on Neural Networks and Learning Systems》：Learning Granularity-Aware Affordances From Human-Object Interaction for Tool-Based Functional Dexterous Grasping

机器人通过视觉引导实现工具功能抓取，提出基于粒度感知的affordance特征提取方法，结合细粒度接触区域定位和粗粒度手势预测，构建GAAF-Dex框架。采用弱监督学习从Exo/Ego双视角数据中提取特征，建立包含18种工具6项任务的FAH数据集，实验验证其优于现有方法且具备实际应用价值。

　　

摘要：

为了使机器人能够使用工具，第一步是教会它们使用灵巧的手势来精确地触碰执行任务的特定区域。物体的可供性特征在代理与物体之间的功能交互中起到了桥梁作用。然而，如何利用这些可供性线索来帮助机器人实现功能性工具抓取仍然是一个未解决的问题。为了解决这个问题，我们提出了一种具有粒度意识的可供性特征提取方法，用于定位功能性可供性区域并预测灵巧的粗略手势。我们研究了人类使用工具的内在机制。一方面，我们利用物体与手指接触区域的细粒度可供性特征来定位功能性可供性区域；另一方面，我们利用手与物体交互区域中高度激活的粗粒度可供性特征来预测抓取手势。此外，我们引入了一个基于模型的后处理模块，将可供性定位和手势预测转化为可执行的机器人动作。这构成了GAAF-Dex，一个完整的框架，它从人机交互中学习具有粒度意识的可供性信息，以实现使用灵巧手进行基于工具的功能性抓取。与需要大量数据标注的完全监督方法不同，我们采用了一种弱监督方法，从以手为中心（Ego）的图像中提取与手与物体交互相关的外中心（Exo）图像线索来监督特征提取。为了支持这种方法，我们构建了一个小规模的数据集——功能性可供性手（FAH）-物体交互数据集，其中包含了近6000张功能性手与物体交互的Exo图像以及18种常用工具执行六项任务的Ego图像。在该数据集上的大量实验表明，我们的方法优于现有的最先进方法，而现实世界的定位和抓取实验验证了我们方法的实际适用性。源代码和已建立的数据集可以...

显示更多

引言

使机器人能够根据不同的任务指令（例如按压、抓取或打开）灵活地使用工具，是人类与机器人协作的基石，而功能性抓取[1]是其中的关键初始步骤。与一般抓取不同，功能性抓取提出了严格的要求，需要动态识别特定于任务的功能性区域并生成相应的抓取手势。具体来说，它包括：1）精确定位特定于任务的功能性区域（例如钻头的按钮或剪刀的手柄），而不是任意的接触点；2）通过灵巧的手生成多指抓取，以满足各种任务的复杂需求。本工作旨在通过视觉引导的方法实现功能性抓取，利用物体和任务固有的约束条件。