人类触控协同：基于多模态触觉感知的机器人通用抓取新方法

《National Science Review》：Human-Taught Sensory-Control Synergy for Universal Robotic Grasping

为解决机器人通用抓取在非结构化环境中的适应性问题，清华大学团队开展"人类触控协同（SCS）"研究。通过研发多模态触觉手套采集人类抓取数据，建立触觉-状态映射模型和模糊控制器，使机器人实现95.2%的平均抓取成功率。该研究为机器人获得类人自适应抓取能力提供了新范式。

　　

在机器人技术飞速发展的今天，让机器人像人类一样灵巧地抓取各种物体仍然是重大挑战。传统机器人抓取主要依赖预编程目标信息或恒定力控制策略，在结构化环境中能完成简单任务，但面对日常生活中千变万化的物体——从光滑的金属球到易碎的生鸡蛋，从柔软的水球到装满液体的瓶子——这些方法就显得力不从心。虽然视觉-触觉融合已成为提升抓取成功率的主流范式，但触觉数据集的构建仍是棘手难题。仿真数据存在模拟到现实的差距，机器人遥操作采集效率低下，而直接从人类演示中学习技能又面临本体结构和功能差异带来的迁移挑战。

针对这些痛点，清华大学精密仪器系的研究团队在《National Science Review》上发表了一项创新研究，提出了一种"人类触控协同（Sensory-Control Synergy, SCS）"方法，让机器人能够真正学会人类的抓取技巧。这项研究的核心思想是模仿人类的神经认知和运动控制策略，将低层次的多模态触觉信号转化为高层次的语义抓取状态，再根据这些状态快速生成自适应抓取动作。

研究人员开发了一套关键技术方法：首先研制了配备自制多模态触觉传感器的手套，能同步采集接触、滑动和压力信号；然后基于人类神经认知机制，通过长短期记忆（LSTM）网络将触觉信号模糊编码为语义明确的抓取状态；最后借鉴人类运动策略，构建经验驱动的模糊控制器实现状态到动作的转换。特别值得一提的是，他们提出了基于未来压力响应趋势的自动标注方法，大幅降低了数据标注成本。

触觉感知手套与人类抓取序列

研究团队开发的触觉手套在指尖部署了自制多模态触觉传感器，采用分层架构设计：顶层传感层用于界面感知，压力传感器由中间多孔弹性材料层和底层传感层组成。传感器基于热感知原理工作，集成了双同心铂传感元件。内部铂传感元件被电加热产生热场，作为热敏电阻检测界面状态（如接触或滑动），而底层内部铂传感元件通过检测多孔弹性材料层热导率变化来感知压力刺激。这种设计使传感器具备压力、滑动和温度的多模态感知能力，具有快速响应、高灵敏度、低串扰和良好稳定性的特点。

在人类抓取过程中，抓取行为呈现典型的序列化多阶段特征：无接触阶段、接触阶段、提升阶段和放置阶段。触觉手套能实时捕获各阶段的触觉信号，为构建触觉-状态映射模型提供了数据基础。

仿生触觉-状态映射模型与模糊控制器

研究人员提出了一种数据高效的学习方法，无需大规模数据和高精度人工标注。关键创新在于基于未来拇指压力曲线趋势的自动状态标注方法：通过最小二乘线性拟合后续时间窗口内的拇指压力曲线，提取斜率值作为状态划分依据，将"不稳定"状态细分为"轻微不稳定"、"中度不稳定"和"高度不稳定"三个等级。

触觉-状态映射模型采用LSTM网络架构，能够捕捉触觉信号中的长程依赖关系和动态模式。实验结果表明，当后续时间窗口长度设置为30个采样点（信号采样频率50Hz）时，模型达到最高的状态识别准确率。令人印象深刻的是，仅使用20%的训练数据，所建模型就能实现81.7%的平均识别准确率，表现出对大规模标注数据依赖的显著降低。模型在抓取6个未见过的物体时也表现出强大的泛化能力，验证了其良好的迁移性。

状态-动作模糊控制器模仿人类抓取时的模糊决策逻辑，具有状态记忆和分级响应能力。控制策略不仅依赖于当前状态，还考虑历史状态序列，形成七级力调整指令输出。实验显示，SCS预测的抓握力与人类实际施加的力高度一致，验证了模型的有效性。

人类触控协同向机器人的迁移

将人类SCS框架迁移到机器人平台后，机器人抓取操作包含四个顺序阶段：无接触阶段、接触阶段、提升阶段和放置阶段。机器人通过视觉定位目标，触觉传感器检测到接触后立即转入接触阶段，触觉-状态映射模型实时输出抓取状态，状态-动作控制器生成自适应力调整指令。

在抓取29个物体的实验中，机器人达到95.2%的平均抓取成功率。更令人惊喜的是，在抓取24个完全陌生的物体时，成功率仍达91.25%，证明了SCS方法的强大通用性。对比实验显示，SCS方法在抓取成功率和抗干扰能力方面均显著优于传统方法。

动态干扰下的机器人抓取鲁棒性

在动态干扰实验中，当施加向下的外部拉力时，触觉传感器检测到滑动事件（表现为界面响应曲线的突变），触发自适应力增强，有效防止物体脱落。即使在传感器性能退化或部分失效的情况下，系统仍能保持较好的抓取性能，只是对大质量物体的抓取成功率有较明显下降。

真实场景中的复杂任务完成能力

为展示应用潜力，研究人员让机器人完成手冲咖啡的复杂任务，包括定位物品、抓取水壶倒水、开盖、舀取咖啡粉、搅拌、归还勺子、关盖和递送咖啡等九个子任务。在整个过程中，机器人利用触觉传感器确定勺子与咖啡粉的接触状态，展示了触觉感知在不透明容器场景中的优势。拇指界面和压力信号证实了自适应抓握力调整，以应对任务序列中的各种不确定性。

这项研究的成功在于它巧妙地将人类抓取经验转化为机器可理解、可执行的逻辑框架。通过语义化抓取状态，SCS模型具有高度逻辑化和通用化特性，可由非专家数据高效构建，并轻松迁移到机器人上完成通用机器人操作。这种方法使机器人能够通过人类经验迁移获得广义自适应抓取能力，为智能机器人在真实场景中完成复杂任务提供了有前景的途径。