北京大学杨耀东课题组在基于认知推理的具身智能可泛化灵巧操作技术研究上取得进展

近日，由北京大学杨耀东课题组牵头，朱毅鑫课题组、董豪课题组及王鹤课题组作为核心骨干参与的”基于认知推理的具身智能可泛化灵巧操作技术研究“课题顺利在北京市科委、中关村管委会进行验收工作，并圆满通过项目综合绩效考核。

　　

近日，由北京大学杨耀东课题组牵头，朱毅鑫课题组、董豪课题组及王鹤课题组作为核心骨干参与的“基于认知推理的具身智能可泛化灵巧操作技术研究”课题在北京市科委、中关村管委会进行验收工作，并通过项目综合绩效考核。

图1.多样化的灵巧手操作方式和被操作物体

在当前全球化的大背景下，机器人技术已经逐渐成为自动化工业制造、医疗手术和家居服务等多个领域的核心技术之一，特别是在灵巧操纵方面。灵巧操纵的本质是为机器人赋予灵活处理各种物体的决策能力，提升机器人在复杂场景下的可泛化自主决策能力和自适应性，使其能够像人类双手一样应对不同的环境和任务。然而，实现机器人的灵巧操纵仍面临多重技术挑战，例如，如何处理各种不同形状的甚至没见过的物体，并在精准感知环境的基础上实现高效的运动规划，以适应多变的场景。

图2.双灵巧手仿真平台Bi-DexHands的整体框架及所包含的丰富任务类型

自2022年项目成立以来，课题组基于认知推理、强化学习和计算机视觉技术，专注于解决现有机械手抓握策略仅能处理单一类型抓取物、缺乏泛化性、安全性以及缺乏相应高度仿真平台和数据集等核心问题。

具体而言，课题组从系统构建、数据采集、面向特定任务的抓取算法以及通用可泛化的抓取操作等方面展开研究，成功开发了适用于单/多智能体学习算法研究的高效灵巧机械手仿真系统并成为灵巧操作领域的重要基准环境之一；构建了高质量、多样化的大规模灵巧机械手抓取数据集；基于认知推理技术，大幅度提升了机械手在多类型目标物、复杂手型、多样抓握姿势和抓取任务上的泛化能力；获得了通用的灵巧机械手抓取策略，最终圆满完成所有考核指标，在基于视觉的真实世界复杂机械手抓取任务中部署了所提出的解决方案并取得了突出的效果。

图3.课题组提出的可供性学习方式能够帮助机器人在真实世界中完成多样的操作任务

基于本项目所使用的技术，杨耀东课题组获得了NeurIPS 2022灵巧操作挑战赛冠军，在340个队伍中位列第1。相关研究在计算机和机器人顶级会议和期刊上发表了11篇学术论文。其中，课题组所开发的双灵巧手仿真平台Bi-DexHands能够同时并行数千个环境，在 GPU（NVIDIA RTX 3090）单卡环境下，每秒仿真帧数速率达到 65,000帧/秒以上，为双灵巧手学习提供了高效的训练系统。灵巧操作任务设计遵循精细运动测试（FMS）的原则，建立了婴儿年龄和操作任务之间的映射，为观察和评估机械手在不同成长阶段操纵物体和使用工具的能力提供了高度类人的强大基准，同时面向这些任务提供了全面的单智能体/多智能体/离线/多任务/元强化学习算法基准，相关论文“Bi-DexHands: Towards Human-Level Bimanual Dexterous Manipulation”于2023年11月被人工智能领域顶级国际期刊IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）接收，影响因子为24.314。课题组进一步针对异构灵巧手合作困难的问题，设计了适用于异构多智能体系统的强化学习算法，且提供了策略单调递增和收敛性的理论保证，相关论文“Heterogeneous-Agent Reinforcement Learning”于2023年12月被机器学习领域顶级国际期刊Journal of Machine Learning Research（JMLR）接收。课题组在国际顶级学术会议中也同样取得优异成绩，其中一项研究工作“UniDexGrasp++: Improving Dexterous Grasping Policy Learning via Geometry-aware Curriculum and Iterative Generalist-Specialist Learning”在ICCV 2023中获得满分评审，并被ICCV 2023提名最佳论文入围奖，另一项研究工作“GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts”在CVPR 2023中获得全满分的评审成绩并被评为Highlight，位列投稿论文前2.5%。课题相关的开源代码库也已获星累计1000+。在此研究基础上，本课题组申请了2项发明专利，力求将所开发的平台和算法应用于智能假肢系统，为残疾人的安全灵巧操作提供技术保障。这些研究成果大幅度提升了我国在灵巧操作领域的学术地位和工业水平，拓展了智能机器人的实际应用范围。     

图4.课题组获得NeurIPS 2022灵巧操作挑战赛冠军以及ICCV 2023最佳论文入围提名

    

图5.课题组开发的双灵巧手操作仿真平台和全面的多智能体强化学习算法基准库

2023年，具身智能机器人领域经历了快速的发展。与此同时，相关国家政策的逐步完善和北京市科技委等科技部门的大力支持也进一步促进了具身智能机器人的技术创新和商业应用的实现。其中，灵巧操作模块作为具身智能体的核心组件，是推动机器人技术应用于真实场景的关键之一。在这样的背景下，“基于认知推理的具身智能可泛化灵巧操作技术研究”项目的成功研发和应用验证显得尤为重要和及时，再次展现了我国在技术创新和发展方面的前瞻性和决策力。

该研究工作得到北京市科委北京市科技计划“2022年中央引导地方科技发展专项”提供的支持。