基于注意力机制和差异度量的条件对抗网络

《The Knee》：Attention Mechanism and Discrepancy Metric Based Conditional Adversarial Network

跨域图像识别中针对分布差异显著和图像非区分区域多的负适应问题，提出融合多核最大均值差异度量（MK-MMD）和多重注意力机制的条件对抗网络（AMDM）。通过MK-MMD更全面地缩小源域与目标域分布差异，利用多注意力机制精准定位具有区分性的局部图像区域，增强特征可分性。在四个基准数据集上的实验验证了方法的有效性。

　　

李鹏|张强|王伟|连俊成|程文辉

中国阜阳师范学院计算机与信息工程学院，阜阳，236037

摘要

对抗学习已被证明是领域适应（DA）中提取领域不变特征的有效技术。然而，大多数现有的对抗性DA方法通常会在源域和目标域之间进行直接的分布匹配，即使它们之间存在显著的分布差异或图像包含大量的非区分性区域，这往往会导致负适应问题。为了解决这个问题，我们提出了一种基于注意力机制和差异度量的条件对抗网络。具体来说，我们在对抗学习过程中引入了多核最大均值差异（MK-MMD）度量，以实现源域和目标域之间更全面的分布对齐。此外，我们结合了多注意力机制来识别具有区分性的局部图像区域，从而增强了提取特征的区分能力。最后，我们在四个基准数据集上进行了广泛的实验，以验证所提出方法的有效性。

引言

深度学习的显著成就在很大程度上依赖于两个关键前提：i) 大规模标注训练样本的可用性，以及 ii) 训练数据和测试数据遵循相似的分布。然而，在现实世界中，由于数据采集设备、环境条件和人为因素的变化，训练数据和测试数据之间的分布经常发生偏移[1]、[2]、[3]。虽然扩大训练数据集可以覆盖潜在的测试分布，但相关的数据收集和标注的人工和物质成本变得非常高昂。为了解决这一挑战，领域适应（DA）技术应运而生。这些方法可以提高在标记源域上训练的分类器在未标记目标域上的性能，即使这两个域的分布不同[4]、[5]、[6]。这一范式显著降低了与大规模数据标注相关的巨大成本，同时保持了模型的泛化能力[7]。

多年来，主流的深度DA方法[8]、[9]主要采用了两种策略：基于差异度量的方法和基于对抗学习的方法。基于差异度量的方法[10]、[11]、[12]、[13]通常使用统计差异度量（例如，最大均值差异（MMD）[14]、[15]、相关性对齐（CORAL）[16]和最优传输（OT）度量[17]来构建损失函数，以明确最小化源域和目标域之间的分布偏移。这些技术通过减少预定义的分布距离来直接优化领域不变的特征表示。基于对抗学习的方法在特征提取器和领域鉴别器之间实施了一个最小-最大游戏[18]、[19]、[20]、[21]。特征提取器旨在生成混淆鉴别器的领域不变表示，而领域鉴别器则努力准确预测输入样本的领域标签（源域 vs. 目标域）。这一领域的一个开创性工作是领域对抗神经网络（DANN）[22]，它通过梯度反转层建立了这种对抗框架。在DANN的基础上，条件领域对抗网络（CDAN）[23]通过结合标签信息进一步处理复杂的多模态分布。这种增强确保了对抗对齐主要发生在属于同一类的源域和目标域样本之间，从而在适应过程中保留了区分性特征结构。

尽管基于对抗学习的DA方法表现出色，但仍存在几个关键挑战尚未解决：i) 在处理显著分布偏移时未能结合差异度量；ii) 强制分布对齐可能导致负适应或当图像包含大量非区分性区域时特征区分能力下降[24]。为了解决这些问题，我们提出了一种基于注意力机制和差异度量（AMDM）的条件对抗网络。首先，我们采用CDAN作为我们的基线网络，利用其在处理复杂多模态分布方面的成熟能力。其次，我们整合了多核最大均值差异（MK-MMD）度量来明确减少跨域分布差异。第三，在特征提取器中加入了多注意力机制，以自动识别并关注具有区分性的局部图像区域，从而增强特征的区分能力。我们的主要贡献有三个方面：

•

本文通过在条件领域对抗网络中引入差异度量MK-MMD，进一步减少了源域和目标域之间的分布差异。

•

本文在特征提取器中引入了多注意力机制，以发现具有区分性的局部图像区域，从而使提取的特征更具区分性。

•

在四个基准数据集上进行的广泛实验验证了所提出方法的有效性。

部分摘录

深度领域适应

近年来，深度DA技术通过利用深度学习的强大特征表示能力取得了显著进展[25]、[26]、[27]。在这些方法中，特别是CDAN[23]，引起了研究人员的广泛关注。CDAN使用特征和标签的张量积作为对抗过程的输入，使其能够处理数据集中的复杂多模态分布。在CDAN的基础上，[28]提出了一种

提出的方法

给定一个标记的源域 $D^{\text{s}}:={\left\{x_{\text{i}}^{}\right\}}_{\text{i=1}}^{{\text{n}}^{}}$ 和一个未标记的目标域 $D^{\text{t}}={\left\{x_{\text{j}}^{}\right\}}_{\text{j=1}}^{{\text{n}}^{}}$，领域适应（DA）可以利用源域的标签信息来辅助目标域上的图像分类任务。$x$ 表示特征表示，$y$ 表示标签。‘n’ 表示样本数量，上标‘s/t’表示领域索引。DA中的关键问题是源域和目标域遵循不同的分布，即 ${\text{p}}^{}\ne <msup><mtext>p</mtext></msup>$。如图所示

实验

为了验证所提出的AMDM的有效性，我们在四个跨域图像分类数据集上进行了广泛的实验，包括比较分析和实证分析。

结论

在本文中，我们通过引入分布差异度量MK-MMD和多注意力机制，在条件对抗网络上进行了改进，以更有效地实现源域和目标域之间的分布对齐，并识别图像中的具有区分性的局部区域，从而增强特征的区分能力。通过广泛的实验分析，我们验证了所提出方法的有效性。

CRediT作者贡献声明

李鹏： 监督、方法论、概念化。张强： 撰写——原始草稿、可视化、软件、方法论。王伟： 撰写——审阅与编辑、资源。连俊成： 数据整理。程文辉： 验证。

利益冲突声明

不存在利益冲突。

致谢

本工作部分得到了中国国家自然科学基金（编号62306343）、安徽省高等学校自然科学重点研究项目（编号KJ2021A1253）、阜阳师范学院博士科研启动基金（编号2022KYQD0010）和中国博士后科学基金（编号2024M753741）的支持。