基于EMD局部匹配的遮挡行人重识别方法研究及其在多镜头场景下的应用

推荐：本研究针对遮挡环境下行人重识别(Re-ID)的挑战，提出了一种融合全局特征与Earth Mover's Distance(EMD)局部匹配的多镜头框架。通过特征融合模块整合轨迹信息，在FAPR数据集上实现Rank-1准确率最高达100%，显著优于基线方法12-54.5%，为实际监控系统中强遮挡场景提供有效解决方案。

　　

在智能监控和安防领域，行人重识别(Re-ID)技术一直面临着遮挡问题的严峻挑战。当行人被其他物体或人群部分遮挡时，传统方法依赖手工裁剪的完美边界框假设就会失效，这正是实际监控系统与实验室理想条件的核心差距。随着深度学习的发展，虽然单镜头Re-ID取得显著进展，但现实场景中多镜头轨迹数据的处理仍存在特征冗余、时空不对齐等难题，特别是当输入数据来自自动检测和跟踪系统时，强遮挡、ID切换等问题会进一步加剧识别难度。

针对这一技术瓶颈，来自中国的研究团队在《Machine Learning with Applications》发表创新研究，将原先用于单镜头Re-ID的Earth Mover's Distance(EMD)框架扩展至多镜头场景。该工作通过引入特征融合模块，采用平均池化策略聚合轨迹时空信息，同时保留局部EMD匹配的优势，在FAPR和Partial-ReID等数据集上实现了突破性进展。特别值得注意的是，在自动生成的含遮挡轨迹数据上，该方法在8个实验场景中有4个达到Rank-1 100%的匹配准确率，最高超越基线方法54.5%，为端到端的智能监控系统提供了实用化解决方案。

研究团队主要采用三项关键技术：1)基于ResNet-50的双分支特征提取架构，同时捕获全局特征(C×1)和分块局部特征(C×H)；2)特征融合模块对轨迹序列实施空间平均池化，将多镜头问题转化为单镜头匹配；3)改进的EMD算法结合条纹位置感知权重(如[0.6,0.7,0.8,0.9,0.9,0.8,0.7,0.6])进行局部匹配，并采用交叉熵损失和难样本三元组损失联合优化。实验数据来源于FAPR数据集自动生成的12段视频轨迹，包含室内外复杂场景下的10个ID共136个轨迹。

研究结果部分，在"3.1 整体框架"中，作者设计了包含特征提取、融合和匹配的三阶段流程，通过式(1)-(2)将轨迹匹配问题形式化为最小化距离优化。特征提取环节("3.2节")将256×128分辨率图像转换为C×H×W特征图，水平分割为H条纹后分别提取局部特征Q_l
ⁱ
和全局特征Q_g
ⁱ
。"3.3节"提出的特征融合采用式(4)的平均池化策略，显著优于最大/最小池化方案，如在"20191105indoor_cross"场景将准确率从84.2%提升至98.9%。距离度量("3.4节")验证了EMD的优越性，其通过式(6)-(7)的线性规划求解最优传输问题，在多数场景下超越欧氏距离12-43%。

特别值得关注的是"4.3.1节"的单镜头对照实验，当禁用特征融合模块时，使用随机单帧的代表性方法在VIPeR数据集上仍取得47.8%的Rank-1准确率，超过MXQDA-CD+CNN等对比方法。"4.3.2节"的多镜头结果显示，平均池化策略在FAPR数据集8个场景中6个表现最佳，如"20191105indoor_all"场景实现100% Rank-1准确率。在Partial-ReID数据集("表10")的跨数据集测试中，该方法以69.5%的Rank-1准确率超越多数依赖姿态估计的复杂模型，验证了其泛化能力。

在结论部分，作者强调这项工作的双重贡献：一是通过特征融合模块将单镜头Re-ID框架成功扩展至多镜头场景，二是证实EMD在遮挡条件下的鲁棒性。研究同时揭示了当前局限：FAPR数据集规模较小(仅10个ID)，且特征组合方式相对简单。这些发现为未来研究指明方向——开发适用于大规模数据集的增强框架，以及探索更复杂的损失函数组合。该成果的重要意义在于，首次在自动生成的含遮挡轨迹数据上验证了实用化Re-ID系统的可行性，为智能监控、人流量分析等实际应用提供了关键技术支撑。开源代码已发布在GitHub(https://github.com/anhnhust/emd-person-reid)，将促进工业界与学术界的进一步合作创新。