基于知识引导的语义迁移网络在少样本图像识别中的应用

《IEEE Transactions on Neural Networks and Learning Systems》：Knowledge-Guided Semantic Transfer Network for Few-Shot Image Recognition

提出知识引导语义迁移网络KSTNet，通过视觉推理模块联合优化分类器与相似度损失，构建跨类知识迁移网络实现语义映射，设计自适应融合机制提升少样本图像识别性能，在Mini-ImageNet和Tiered-ImageNet上验证有效性，尤其在单样本学习场景表现优异。

　　

摘要：

基于深度学习的模型在许多计算机视觉任务中已经显示出比人类更强的性能，尤其是在有大量标注训练数据的情况下。然而，人类却能够通过浏览少数几个新类别的示例就轻松识别这些类别的图像。在这种情况下，少样本学习（few-shot learning）应运而生，使机器能够从极其有限的标注样本中学习。人类能够快速高效地学习新概念的一个可能原因是他们拥有丰富的视觉和语义先验知识。为此，本文提出了一种新的知识引导语义迁移网络（KSTNet），通过引入辅助先验知识，从补充的角度来实现少样本图像识别。该网络将视觉推理、知识迁移和分类器学习整合到一个统一的框架中，以实现最佳兼容性。我们开发了一个基于类别引导的视觉学习模块，其中通过特征提取器以及余弦相似性和对比损失优化来学习视觉分类器。为了充分利用类别之间的关联先验知识，进一步开发了一个知识迁移网络，以在所有类别之间传播知识信息，从而学习语义-视觉映射，从而从基础类别中推断出新类别的分类器。最后，我们设计了一种自适应融合方案，通过有效整合上述知识和视觉信息来推断所需的分类器。我们在两个广泛使用的Mini-ImageNet和Tiered-ImageNet基准测试上进行了大量实验，以验证KSTNet的有效性。与现有方法相比，结果表明，所提出的方法在实现良好性能的同时，所需的附加组件最少，尤其是在单样本学习的情况下。

引言

深度神经网络[1]、[2]最近在许多计算机视觉和图像理解任务中取得了显著的成功。为了提高深度学习模型的性能，神经网络变得越来越复杂，并且需要更多来自丰富类别的标注样本。不幸的是，现实世界中的视觉类别通常呈现出不平衡的长尾分布，而收集新出现的尾部类别的手动标注数据成本非常高。因此，传统的深度神经网络往往容易遭受数据效率低下的问题，从而导致泛化能力较差。也就是说，当基于深度学习的传统识别系统需要识别现实世界中的某些新类别时，需要收集大量的标注训练样本以避免过拟合[3]、[4]。这与人类形成了鲜明对比，人类可以依靠日常生活中积累的先验知识，仅通过一个或少数几个示例就能轻松学习新知识。因此，模仿这种从有限示例中学习的能力对机器学习至关重要。受这些观察结果的启发，最近出现了一个更现实的任务——少样本学习[5]、[6]、[7]，它旨在减少深度模型训练对标注数据的需求。