通过可匹配关键点辅助的图神经网络学习特征匹配

《IEEE Transactions on Image Processing》：Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network

针对图像配准中非重复关键点导致的计算冗余和精度问题，提出MaKeGNN。通过动态采样高匹配关键点并优化上下文聚合，实现效率与精度的平衡，显著降低计算复杂度。

　　

摘要：

在对应于同一3D场景的一对图像之间准确匹配局部特征是一项具有挑战性的计算机视觉任务。以往的研究通常使用基于注意力的图神经网络（GNN），通过图像内部/之间的关键点构建全连接图来进行视觉和几何信息推理。然而，在局部特征匹配的背景下，由于遮挡和检测器失效等因素，大量关键点是不可重复的，因此对于信息传递来说是不相关的。与非重复关键点的连接不仅引入了冗余，导致效率低下（计算复杂度与关键点数量成二次方关系），还干扰了表示聚合过程，从而降低了准确率。为了在准确性和效率之间取得最佳平衡，我们提出了MaKeGNN，这是一种基于注意力的稀疏GNN架构，它可以绕过不可重复的关键点，并利用可匹配的关键点来指导紧凑且有意义的消息传递。具体来说，我们的双向上下文感知采样（BCAS）模块首先从图像对中动态采样两组分布均匀且匹配度较高的关键点。然后，我们的可匹配关键点辅助上下文聚合（MKACA）模块将采样的关键点视为信息瓶颈，从而限制每个关键点仅从内部和可匹配的关键点中检索有用的上下文信息，避免了与非重复关键点相关的冗余连接的干扰。此外，考虑到初始关键点和采样到的可匹配关键点中可能存在的噪声，MKACA模块采用基于匹配度的注意力聚合操作来进行更纯净的数据依赖性上下文传播。通过这些方法，MaKeGNN在多个高难度基准测试中表现优于现有技术，同时显著降低了计算和内存复杂度。

显示更多

引言

特征匹配是指在描绘相同视觉内容的图像之间建立可靠的对应关系，它是许多下游视觉应用的基石，例如同时定位与地图构建（SLAM）[2]、运动结构恢复（SfM）[3]和视觉定位[4]。对于给定的图像对，标准做法是从检测关键点开始并构建局部描述符，然后通过搜索特征描述符的相似性来生成点对点对应关系。然而，由于重复结构、低纹理、视角变化和外观变化等原因导致的视觉模糊，基于NN匹配器的匹配结果不可避免地会被错误匹配（即异常值）所主导，从而导致准确率不高[5]、[6]。为了解决这个问题，最近有很多方法专注于设计可学习的异常值拒绝策略[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]，以过滤掉候选匹配中的虚假匹配。特别是受到PointNet[18]的启发，大多数方法采用多层感知器（MLP）分别处理每个对应关系并推断对应的置信度。尽管取得了令人鼓舞的进展，但这些方法存在以下两个固有限制：1) 它们的输入是由NN搜索提供的假设对应关系，因此无法检索到这些关系之外的正确匹配，这意味着性能的上限受到初始匹配质量的限制；2) 局部视觉描述符和对应坐标分别用于匹配生成和错误匹配拒绝，忽略了来自高级图像表示的视觉信息与2D关键点分布的几何信息之间的相互作用，这需要研究设计有效的特征匹配方法来打破传统最近邻对应关系的限制。为此，有一系列研究直接使用基于注意力的图神经网络（GNN）[19]、[20]来学习建立两组局部特征之间的对应关系。例如，SuperGlue[5]在图像内部和图像之间的关键点上构建了密集连接的图，并通过自注意力和交叉注意力进行信息传递。由于SuperGlue同时编码了关键点的空间位置及其对应的视觉外观，它为特征匹配提供了更具区分性的表示。然而，SuperGlue的出色性能伴随着高昂的计算开销（用于上下文聚合）和大量的内存使用（用于存储注意力权重），其中N表示节点数量，这大大降低了其在实时应用中的效率，使其不适合移动部署。此外，由于遮挡、视角变化和检测器失效等原因，大量检测到的关键点是不可重复的，因此在另一张图像中没有对应关系（在YFCC100M数据集中大约70%的关键点[21]），这种情况在特征匹配中很常见。这意味着这样的全连接图实际上引入了太多冗余和无意义的连接，从而在一定程度上限制了网络进行细粒度特征更新的能力。为了缓解这些缺点，后续的研究如SGMNet[22]和ClusterGNN[23]通过将密集连接的图转换为稀疏连接的图，对更高效和紧凑的上下文聚合操作做出了显著贡献，但它们在姿态估计方面的准确性有时较低[24]、[25]。特别是SGMNet最初使用NN匹配器生成一组种子匹配，但这些匹配不幸被大量异常值污染，导致聚合的信息不纯。尽管进一步引入了加权注意力聚合来缓解这个问题，但在反池化过程中仍然会导致大量上下文线索的丢失。ClusterGNN采用可学习的粗到细的匹配范式进行聚类匹配。然而，每个关键点并没有被分配特定的聚类标签，而是使用半监督损失来指导聚类过程，导致生成的聚类可能缺乏明确的含义。此外，聚类过程也没有排除不可重复的关键点。