基于原始的对抗性训练实现上下文交互，用于组合式零样本学习

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Contextual Interaction via Primitive-based Adversarial Training for Compositional Zero-shot Learning

零样本复合学习（CZSL）中属性与对象视觉交互建模不完善导致新组合分类性能下降，本文提出基于对抗训练的视觉交互建模方法（PBadv）和对象相似性引导的过采样策略，有效提升CZSL分类准确率，并在UT-Zappos50K、MIT-States、C-GQA等数据集验证其优越性。

　　

摘要

组合式零样本学习（Compositional Zero-shot Learning, CZSL）旨在通过已知的属性-对象对来识别新的组合。CZSL任务的主要挑战在于属性和对象的视觉元素之间的复杂交互作用导致的显著差异，这会降低对新组合的分类性能。以往的研究主要通过关注解耦策略或利用基于对象的条件概率来限制属性的选择范围来解决这个问题。不幸的是，很少有研究从建模视觉元素交互机制的角度来探讨这个问题。受到传统对抗学习在跨领域少样本学习中取得成功的启发，我们进一步提出了一种与模型无关的、基于原始元素的对抗训练（Primitive-based Adversarial Training, PBadv）方法来解决这一问题。此外，最新的研究指出，即使在数据平衡的情况下，人们对复杂组合的感知能力仍然较弱。为此，我们提出了一种结合对象相似性引导的新型过采样策略，以增强目标组合训练数据。我们在UT-Zappos50K、MIT-States和C-GQA等成熟的数据集上进行了详细的定量分析和检索实验，以验证我们提出方法的有效性，其最先进（State-of-the-Art, SOTA）性能证明了我们方法的优越性。代码可在https://github.com/lisuyi/PBadv_czsl获取。