基于图的以对象为中心的学习方法：迈向具备物理感知能力的实体化控制

《ACM Transactions on Cyber-Physical Systems》：Towards Physics Aware Embodied Control with Graph based Object-centric Learning

物理直觉与槽位学习结合的物体交互建模方法，提出动态图构建框架GraphSlot，利用图神经网络处理空间邻近和重力影响，实验显示较基线提升8.5% fg-ARI，并通过真人球接游戏验证物理常识有效性。

　　

摘要

理解物理学对于智能机器人和具身代理来说至关重要，它们需要借助物理学来感知世界、移动物体、安全地与环境互动，并优化运动和过程。在本文中，我们提出了GraphSlot，这是一个基于槽（slot）的对象中心学习框架，该框架利用图神经网络来模拟物体之间的交互。GraphSlot根据物体的空间位置以及重力的外部影响动态构建图结构。来自邻近物体的信息会被传播到相连的节点之间。通过对仿真数据集进行全面的实验，我们证明了GraphSlot的性能达到了业界领先水平，与基线模型SAVi-L相比，其在前景调整后的Rand指数（fg-ARI）上提升了8.5%。作为评估的一部分，我们设计了一个真实的接球游戏环境来测试我们提出模型的物理直觉理解能力。GraphSlot展示了其在基于槽的方法中具备物理理解和常识处理方面的潜力。