编辑推荐：
当前机器人手在抓取过程中依赖视觉引导识别物体，存在受环境限制等问题。研究人员开展基于接触力反馈的物体识别与姿态确定方法研究，利用 CNN 实现抓取表面快速分析和姿态确定，精度满足电力系统场景需求，对人形机器人非视觉感知有重要意义。
在机器人技术蓬勃发展的今天，机器人手的抓取操作是其执行任务的关键环节。然而，现有的机器人手在抓取过程中，大多依赖视觉引导来识别物体。这种方式就像人在黑暗中行走依赖手电筒一样，一旦环境照明条件不佳，或者物体被遮挡，机器人手就如同失去了方向的人，难以准确识别物体，更无法顺利完成抓取任务。而且，传统的机械检测方法也无法精确判断抓取物体的姿态以及接触表面的稳定性。为了解决这些难题，来自东南大学的研究人员开展了一项极具创新性的研究。
他们致力于提出一种基于接触力反馈的物体识别和姿态确定方法。通过深入研究，研究人员发现利用该方法能够实现令人惊喜的成果。基于卷积神经网络（CNNs）的快速分析和扩展姿态确定技术，在抓取位置确定上可以达到毫米级精度，被抓取物体的二维姿态角小于 1 度，这一成果基本满足了电力系统业务场景的需求。该研究探索的盲视技术在人形机器人末端的非视觉感知领域有着广泛的应用前景，为机器人技术的发展提供了新的方向，具有重要的工程指导价值。相关研究成果发表在《Scientific Reports》上。
在研究过程中，研究人员运用了多种关键技术方法。首先，基于赫兹接触（Hertz Contact）和弹塑性卸载理论，构建接触表面变形模型，为后续的向量力学分解奠定理论基础。接着，采用一种降维分析方法对向量力阵列进行处理，将三维接触表面分解为单独的力平面，把向量阵列中的角度维度转化为仅包含力大小的二维标量阵列。最后，运用卷积神经网络（CNNs）对降维后的压力传感器数据进行处理，实现力承载表面的特征识别和物体姿态的确定 。
下面来详细看看研究的具体结果：
- 变形接触表面的力状态分析：结合电力系统的检测场景，对按钮按压、工具拾取和旋钮操作等场景进行分析。在按钮按压场景中，接触区域变形小，符合赫兹接触理论，接触半径可由公式a=34E?3FR计算得出，其中E?=E1(1?ν22)+E2(1?ν12)E1E2 。在工具拾取和旋钮操作场景中，适用弹性接触理论模型，初始屈服接触半径aec=4E?3σyR 。通过对比发现，在解释软抓取的力学机制时，赫兹接触理论和弹塑性接触理论可统一使用。
- 向量力状态分析：对于空间中的力，传统的三维笛卡尔坐标分解方式在接触表面变形随机时存在局限性。因此，研究采用极坐标系来表示空间力，表达式为F=Frr^+Fθθ^ 。通过分析发现，力的方向和大小变化与物体的接触状态密切相关。例如，当力垂直于接触表面时，表明该区域与物体发生弹性变形且紧密贴合；当力的方向与垂直方向形成锐角时，体现了按压操作的包裹特征，有助于分析稳定性和识别物体边缘。
- 向量阵列边缘识别方法：在抓取过程中，边缘识别对于判断抓取或按压的稳定性至关重要。由于传统的图像灰度化方法和基于接触表面压力大小确定边界的方法在软抓取中都不准确，研究主要讨论通过向量力阵列的降维来实现接触表面边缘识别。先将力分解为垂直和平行于接触表面的两个分量，重新形成矩阵以消除力的方向维度。对于复杂的多力承载表面，将其分解为多个单独的力承载表面向量阵列，再进行向量分解，最终得到可用于后续分析的标量力阵列。
- 基于接触力学特性的力承载表面特征识别：利用卷积神经网络（CNNs）对降维后的压力传感器数据进行力承载表面的识别。通过多次卷积和池化操作，提取图像特征图，最终结合全连接网络和分类器完成任务。考虑到抓取和按压操作中力承载表面大小的随机性，采用(x,y,w,h)作为预测结果，并使用特定的损失函数loss=∑i=0s2coordError+iouError+classError来优化模型。同时，针对实际操作中可能出现的多接触区域和物体过大导致接触面积填充的问题，对默认的非极大值抑制（NMS）算法进行改进，采用软非极大值抑制（soft-NMS）算法，避免误删检测框。
- 抓取物体的稳定性和姿态确定：稳定性用于判断抓取姿势能否牢固抓取物体，研究主要使用与抓取扳手空间和力闭合相关的抓取质量作为评估指标。通过将力和扭矩组合成扳手矩阵，分析多个接触点的扳手能否抵消任意外部扳手来判断抓取是否稳定。对于物体的姿态确定，由于抓取过程不仅涉及垂直于接触表面的压力，还包括旋转力，结合旋转力可以进一步确定抓取点与物体重心的距离，从而判断物体的姿态。距离重心越近，抓取越稳定，旋转力越小；反之则越不稳定，接触表面可能变得复杂扭曲。
- 实验验证：为了验证上述观点，研究建立了基于精度和检测速度等因素的评估指标。通过构建电力系统日常操作中涉及物体的模型，以 2mm 的步长沿着物体表面移动接触表面来构建数据集。使用改进了 soft-NMS 的 YOLOv5n 模型进行训练，结果显示F1=0.97 ，Recall=97.58% ，Precision=96.64% ，scorethreshold=0.5 ，mAP=96.34% ，FPS=62帧 / 秒。通过对比还发现，触觉识别能够弥补视觉识别在遮挡、光照变化和细节分析等方面的不足。
综上所述，该研究从分析业务场景和接触表面形态入手，研究接触表面变化和力向量特征，对向量力分析进行降维研究，并创新地对处理后的二维矩阵进行类似图像的分解，实现了不依赖视频直接感知接触表面的抓取状态。所提出的基于卷积神经网络（CNNs）的技术在抓取位置确定和物体姿态角度控制上达到了较高精度，满足电力系统业务场景需求。而且该技术在可扩展性和通用性方面表现出色，对不同形状和材料的物体都能有效识别姿态，在复杂环境条件下也能保持较好的性能，在工业生产、医疗领域、仓储物流和灾难救援等多个场景具有重要的应用价值，为机器人操作感知技术的发展提供了新的思路和方法，推动了机器人技术在更多领域的应用和发展。
