通过伪标签校正和模态级对齐实现的无监督可见光-红外ReID（人脸识别）

《IEEE Transactions on Neural Networks and Learning Systems》：Unsupervised Visible–Infrared ReID via Pseudo-Label Correction and Modality-Level Alignment

无监督可见-红外人物重识别中，提出PRAISE框架解决伪标签噪声和跨模态特征对齐问题，通过伪标签校正和模态级对齐策略提升性能。

　　

摘要：

无监督的可见光-红外人体重识别（UVI-ReID）近年来因其能够在无需标注的情况下增强不同环境中的行人检测能力而受到广泛关注。以往的方法主要利用模内聚类和跨模态特征匹配来实现UVI-ReID。然而，存在两个挑战：1) 聚类过程中可能会产生噪声伪标签；2) 通过匹配可见光和红外模态的边缘分布进行跨模态特征对齐时，可能会导致两种模态下不同个体的身份信息出现错位。在本文中，我们首先进行了理论分析，并提出了一个可解释的泛化上界。基于该分析，我们提出了一个新的无监督跨模态人体重识别框架（PRAISE）。为了解决第一个挑战，我们提出了一种伪标签校正（PLC）策略，该策略利用贝塔混合模型（BMM）来预测基于错误聚类的网络记忆效应，并通过引入感知项到对比学习中来纠正对应关系。接下来，我们引入了一种模态级对齐（MLA）策略，该策略生成成对的可见光-红外潜在特征，并通过 align 可见光和红外特征的标记函数来减少模态差异，从而学习出具有身份区分能力和模态不变性的特征。在两个基准数据集上的实验结果表明，我们的方法性能优于现有的无监督可见光-ReID方法。

引言

人体重识别（ReID）旨在跨不同相机识别个体，需要应对诸如视角变化、光照条件变化和部分遮挡等多种挑战。它在许多应用中发挥着关键作用，特别是在安全监控、智能交通系统、机器人技术和智慧城市等领域[1]、[2]、[3]、[4]、[5]。许多方法专注于使用可见光相机进行行人匹配，并将ReID视为单模态学习问题[6]、[7]、[8]、[9]、[10]、[11]、[12]。然而，这些方法在光照条件较差的情况下（例如夜间）可能无法有效处理由可见光相机捕获的图像，从而难以提取可靠的视觉信息用于识别[13]。因此，引入了对光照变化更具有鲁棒性的红外相机来补充可见光相机[13]、[14]、[15]、[16]。由此，人们展开了大量关于可见光-红外人体重识别（VI-ReID）[4]、[17]、[18] [19]以及多模态物体重识别[20]、[21]、[22]、[23]、[24]的研究工作，这些方法的目标是在给定一个来自另一模态的查询样本时，能够从该模态中检索目标样本。这些方法在解决跨模态检索问题方面取得了显著成效，有效提高了检索精度。