多模态数据集助力解析人类触觉感知奥秘

为解决触觉感知研究数据缺失问题，研究人员构建多模态数据集，其对相关研究及人机交互发展意义重大。

　　在人类对周围世界的感知中，触觉、视觉和听觉就像紧密协作的 “侦察小队”，帮助我们了解物体的各种特性。想象一下，当你伸手触摸一个表面时，手指感受到的质地、眼睛看到的纹理以及耳朵听到的摩擦声音，这些信息会瞬间整合在一起，让你对这个表面有一个全面的认识。然而，长期以来，在研究人类如何感知这些表面特性的领域，却存在着一个棘手的问题。

以往的研究大多依赖刚性的传感器化探头来收集数据，虽然这些研究在一定程度上揭示了单个感官模态在纹理感知中的作用，但却无法真实地反映人类裸手指与表面直接交互的情况。而且，现有的多感官数据集要么缺乏精确的传感器同步，要么没有对表面进行主观评估，这使得研究人员难以深入探究不同感官模态之间复杂的相互作用，也限制了人工感官反馈系统的发展。就好比拼图缺了关键的几块，导致我们无法完整地了解人类触觉感知的全貌。

为了填补这些研究空白，来自帝国理工学院（Imperial College of Science, Technology and Medicine）、巴黎高等师范学院（école Normale Supérieure）等机构的研究人员开展了一项重要研究。他们构建了一个全面的多模态数据集（Multimodal Dataset），记录了 10 名参与者用裸手指与 10 种不同纹理表面交互时的触觉、音频和视觉信号，还让 15 名参与者完成问卷调查，评估他们对这些表面的主观感知。相关研究成果发表在《Scientific Data》上。

在这项研究中，研究人员运用了多种关键技术方法。他们在隔音室内搭建了专门的实验装置，利用两台 4K 相机记录纹理表面的高分辨率立体图像，以获取深度信息；使用六轴力 / 扭矩（F/T）传感器、加速度计和定向麦克风，分别测量手指施加的力、产生的振动和交互声音。为确保不同数据源的数据同步，他们通过硬件层面的信号调理单元以及计算机内核时钟对数据进行时间戳标记，并利用 LabStreamingLayer 架构将数据流式传输到 PostgreSQL 数据库。此外，研究人员还运用随机森林（RF）算法对数据进行分类，分析不同模态数据在表面分类中的作用。

下面我们来详细看看研究结果：

1. 数据集结构：该数据集存储在 figshare 的公共存储库中，采用 HDF5 格式，包含物理数据、纹理图片和问卷数据。物理数据按参与者、纹理和试验类型进行组织，每个试验的文件中记录了力 / 扭矩、位置、振动和音频等信息；纹理图片存储在 img 目录下，每个纹理有 20 张来自左右相机的照片；问卷数据则保存在一个 JSON 文件中，包含个人评估和排名评估的结果。
2. 技术验证 - 表面分类：研究人员从原始数据中提取了如梅尔频率倒谱系数（MFCCs）、均方根（RMS）能量等特征，并使用 RF 算法进行表面分类。结果显示，包含触觉数据的模型分类准确率高于仅依赖音频或加速度数据的模型。其中，组合触觉模型的准确率和 F₁分数最高，达到 83.89% 和 83.87%，这表明多模态触觉数据在表面分类中具有显著优势。同时，研究还发现音频数据虽然分类准确率相对较低，但也能达到 65% 以上；指尖位置和速度信息在触觉数据分类中非常重要，缺少这些信息会降低分类性能。
3. 问卷评估：通过对纹理表面感知的问卷调查，研究人员发现参与者对纹理的主观评估存在较大差异。例如，对于 “硬度” 等客观特征，不同参与者的评分较为一致，而 “变化” 等主观特征的评分则差异较大。通过主成分分析（PCA），研究人员发现前两个主成分主要受 “硬度”“有序性”“三维性” 和 “粗糙度” 等特征的影响，但这两个主成分仅解释了数据集总方差的 24% 和 20%，说明纹理的主观评估受多种因素影响，较为复杂。

总的来说，这项研究构建的多模态数据集填补了多感官感知研究的关键空白，为深入理解触觉、视觉和听觉在人类感知中的细微交互提供了前所未有的视角。它不仅有助于推动感知研究的发展，还为基于多模态输入的纹理识别算法开发以及人机界面（Human - Machine Interface）的改进提供了重要基础。未来，研究人员可以基于这个数据集开展更多研究，进一步探索人类触觉感知的奥秘，开发更先进的人工触觉感知系统，让机器能够像人类一样精准地感知和理解周围环境，在医疗、虚拟现实、机器人等领域发挥更大的作用。