MCV-Intention：多模态跨视角数据集推动工业5.0下人机协作装配意图识别研究

《Scientific Data》：MCV-Intention: A Multimodalities and Cross-View Dataset for Human Assembly Intention Recognition

本刊推荐：为解决工业场景中人类装配意图识别存在的数据集模态单一、缺乏真实操作行为记录及标注标准不统一等问题，西安交通大学团队开发了MCV-Intention多模态跨视角数据集。该数据集包含6种模态（RGB、深度、骨架、光流、红外、掩码）和2个视角（正面、俯视）数据，采集自15名被试者在卫星装配任务中的训练前/后操作序列。研究通过建立标准化标注协议和基准测试表明，现有算法对异常装配行为的识别准确率最高仅70.23%，揭示了实际应用中的技术挑战，为HRC（Human-Robot Collaboration）系统优化提供了重要数据支撑。

　　

在工业5.0浪潮中，智能制造业正经历以人为中心的转型，而人机协作（HRC）作为实现大规模定制的关键路径，亟需解决机器人对人类状态感知的精准性问题。尽管基于视觉的装配意图识别技术近年来取得进展，但现有方法仍面临三大瓶颈：传统数据集模态匮乏难以充分挖掘时空信息，预设装配流程无法反映真实场景中操作者的随机行为，且缺乏统一标注规范阻碍了系统化研究。这些局限导致算法在实际应用中常出现"训练表现优异，实战效果不佳"的尴尬局面。

为突破这些限制，西安交通大学马东旭等人于《Scientific Data》发表了题为"MCV-Intention"的研究，推出首个面向真实工业场景的多模态跨视角装配意图识别数据集。该研究以小型卫星这一复杂工业产品为装配对象，通过自主开发的PyQT数据采集软件，同步记录15名操作者在训练前后两个阶段的六种模态数据（RGB、深度、骨架、光流、红外、掩码）和双视角（正面、俯视）视频流，构建了总量达32GB的标准化数据集。

关键技术方法方面，研究团队设计了包含异常行为的自然采集协议：训练前阶段让操作者仅凭文档进行装配以捕捉错误操作（如暂停、错装、工具误用等），训练后阶段则要求规范完成。数据采集采用定制化硬件系统（图1），其中正面相机通过MediaPipe算法提取骨架坐标，Lucas-Kanade方法计算光流，深度与红外数据借助相机SDK获取；俯视视角则专门记录全局装配进程。所有数据均以480×640像素分辨率、15帧/秒规格存储，并通过三名研究者交叉验证的帧级标注流程，对9个装配步骤的正常（ID 0-16）与异常（ID 1-17）行为进行精细化标注。

数据集分析揭示行为差异

通过对比训练前后数据分布（图6），研究发现未受训操作者的装配时间显著延长，且电池模块安装耗时最短（设计直观），散热装置装配最长（需狭窄空间专用工具）。这种时间差异体现了操作复杂度对行为模式的影响，也为异常检测提供了关键特征维度。

基准实验暴露算法瓶颈

团队选取8种主流算法进行基准测试（表5），包括基于卷积的CorrNet（相关网络）、CSN（通道分离网络）、ResNet3D（三维残差网络）、SlowFast（双通路网络），以及基于注意力机制的ViViT（视频视觉变换器）、MViT（多视角变换器）、AcT（动作变换器）和多模态融合模型SR2M。实验设置统一为112×112输入帧尺寸、16帧序列长度、700训练轮次。结果显示：在正常装配场景下，SlowFast以90.25%准确率领先，而多模态融合模型SR2M达91.20%；但对异常行为识别时，最佳模型SR2M仅70.23%，ViViT和AcT更跌至31.22%和30.14%。这表明当前算法对操作者习惯性异常（图7所示重复调整、工具误用、错装拆卸等）的适应性严重不足。

多模态融合展现优势

实验发现注意力机制模型普遍逊于卷积模型，可能源于其归纳偏置能力较弱导致复杂场景特征提取不足。而SR2M的多模态（骨架-RGB）融合策略显著提升识别鲁棒性，印证了跨模态对齐对降低系统不确定性的价值。这提示未来研究需突破单一精度指标，通过多分辨率时空信息挖掘与不确定性量化，全面提升HRC系统在实际工业场景中的适应性。

研究结论强调，MCV-Intention数据集通过标准化采集协议、真实工业对象和双阶段行为记录，为解决装配意图识别中的领域适应性问题提供了关键基础设施。其揭示的算法性能差距警示：现有技术尚难应对真实场景中的人为不确定性，亟需开发能深度融合多模态信息且具备异常推理能力的新范式。该数据集已通过Zenodo平台（DOI: 10.5281/zenodo.15083791）公开，配套采集软件、标注工具和算法代码均开源发布，将助推工业5.0下人机协作系统的安全性与效率革新。