基于感兴趣结构（Structure-of-Interest）的神经动力学模型实现的双手可变形袋状物体操控

《IEEE/ASME Transactions on Mechatronics》：Bimanual Deformable Bag Manipulation Using a Structure-of-Interest Based Neural Dynamics Model

可变形物体操纵面临复杂动力学和无限维配置空间挑战，本文提出基于图神经网络（GNN）的神经动力学模型，通过全局粒子采样构建结构要素（SOI）的动态表示，结合模型预测控制（MPC）实现布袋和T恤的高精度操作。实验验证了该方法的有效性。

　　

摘要：

由于可变形物体的复杂动力学特性和无限维的配置空间，机器人系统对这些物体的操控面临重大挑战。本文提出了一种新的可变形物体操控（DOM）方法，重点在于引入和操控可变形织物袋中的关键结构（SOIs）。我们构建了一个双手操控框架，该框架利用基于图神经网络的动态模型来简洁地表示和预测这些关键结构的行为。我们的方法包括全局粒子采样过程，从关键结构的部分点云中构建粒子表示，并学习能够有效捕捉织物袋关键变形特征的动态模型。通过将这一动态模型与模型预测控制相结合，使机器人操控器能够执行精确且稳定的操控任务，专注于这些关键结构。我们通过多种实验验证了新框架的有效性，证明了其在操控可变形袋子和T恤方面的能力。我们的贡献不仅解决了DOM中固有的复杂性问题，还为通过关注关键结构元素来增强机器人与可变形材料的交互提供了新的视角和方法。

引言

可变形物体操控（DOM）[1]、[2]、[3]是机器人与物理世界进行有效交互并协助完成各种人类任务的基本能力。然而，像布料[4]、绳索[5]和食品材料[6]这样的可变形物体的操控尤其具有挑战性，因为它们具有无限维的配置空间和复杂的动力学特性。传统的DOM方法通常依赖于简化的物理模型或带有手工设计特征的数据驱动建模，这些方法难以适应这些物体多样的形状和动态特性。此外，大多数当前的DOM研究都侧重于操控整个物体，而忽略了后续操控步骤中至关重要的关键结构，即关键结构（SOIs）。