由实例导向查询驱动的泛化指称表达式分割

《Pattern Recognition》：Generalized Referring Expression Segmentation Driven by Instance-Oriented Queries

针对传统图像指称分割任务（RES）仅能处理单目标描述的局限性，提出实例导向的InsRES框架。通过实例聚类模块生成目标感知查询，结合多尺度空间传播模块实现跨模态特征增强，有效解决多目标及无目标场景下的分割问题，并在多个基准数据集上验证其优越性。

　　在当今人工智能和计算机视觉飞速发展的背景下，图像与语言的结合成为了一个重要的研究方向。其中，参照表达分割（Referring Expression Segmentation，简称 RES）作为一项关键的下游任务，旨在通过用户提供的文本描述，精准地识别图像中的特定区域。这项技术在人机交互、机器人导航、智能视觉系统等领域具有广泛的应用前景。然而，传统的 RES 方法在处理多目标或多不存在目标的场景时存在明显的局限性，难以满足实际应用中的复杂需求。为了解决这一问题，研究者们提出了广义参照表达分割（Generalized Referring Expression Segmentation，简称 GRES）任务，该任务不仅要求模型识别目标是否存在，还要求在多个目标的情况下进行正确的分割。

GRES 任务的提出，标志着 RES 领域从单一目标的识别向多目标处理的转变。然而，尽管已有不少研究致力于改进 GRES 方法，大多数模型仍然未能充分考虑多目标之间的独立性，缺乏专门针对不同目标实例的结构设计，这导致了模型在区分细粒度目标时表现不佳。因此，本研究提出了一种新的基于实例导向的 RES 框架，命名为 InsRES，该框架通过实例级聚类和层次化跨模态特征交互，提升了模型在视觉与语言理解方面的表现。InsRES 的核心在于其能够生成与候选掩码相对应的实例感知查询，并通过多尺度空间传播模块实现视觉引导下的语言特征增强，从而提升跨模态对齐的效果。

InsRES 的提出源于对现有 RES 方法的深入分析和对实际应用场景的充分理解。在传统的 RES 任务中，模型通常假设一个文本描述仅指向一个目标，因此在推理过程中只能生成一个分割掩码。然而，在现实世界中，用户提供的描述可能指向多个目标，或者目标根本不存在。这种限制使得传统 RES 方法在实际应用中表现不佳，特别是在智能机器人和人机交互系统中，视觉定位能力的缺失将严重影响系统的可靠性和适应性。为了克服这一问题，InsRES 引入了一种基于实例的匹配机制，使得模型能够根据不同的文本描述生成对应的分割掩码，从而实现更精准的视觉语言理解。

在方法设计上，InsRES 主要包含两个关键模块：实例感知聚类（Instance-Aware Clustering，简称 IAC）和多尺度空间传播（Multi-scale Spatial Propagation，简称 MSP）。IAC 模块通过对提取的多模态特征进行实例级聚类，生成与不同目标实例相关的实例感知查询。这些查询随后被输入到解码阶段，用于生成多个候选的实例掩码。MSP 模块则通过多层次的跨模态特征交互，将视觉特征逐步注入到语言特征中，从而增强语言表示的丰富性和准确性。这种设计不仅提高了模型对多目标场景的适应能力，还增强了对不存在目标的识别和处理能力。

在实验评估方面，InsRES 在多个基准数据集上进行了测试，包括 gRefCOCO 数据集和 R-RefCOCO/+/g 数据集。这些数据集涵盖了正样本（描述多个实例的文本）和负样本（描述与图像无关的文本），能够全面评估模型在不同场景下的表现。实验结果表明，InsRES 在 GRES 和 RES 任务中均取得了优异的性能，其分割精度和识别能力显著优于现有方法。这一结果不仅验证了 InsRES 在处理多目标和不存在目标问题上的有效性，也证明了其在实际应用中的强大适应能力。

在实际应用中，InsRES 的优势体现在其能够处理复杂的视觉语言交互任务。例如，在智能机器人导航系统中，机器人需要根据用户的指令准确识别目标区域，这要求模型具备强大的视觉语言理解能力。InsRES 通过引入实例感知聚类和多尺度空间传播模块，使得模型能够更精准地识别多个目标，并在目标不存在的情况下进行有效的判断。这种设计不仅提高了模型的鲁棒性，还增强了其在复杂场景下的适应能力。

此外，InsRES 还在跨模态对齐方面取得了显著进展。传统的 RES 方法通常依赖于简单的特征融合，而未能充分考虑视觉和语言特征之间的层次化交互。InsRES 通过引入层次化的跨模态特征交互机制，使得模型能够在不同尺度上对视觉和语言特征进行更有效的对齐。这种设计不仅提高了模型的识别能力，还增强了其在多目标场景下的表现。

在数据集的构建方面，gRefCOCO 和 R-RefCOCO/+/g 数据集的引入为 GRES 任务提供了丰富的实验材料。这些数据集不仅包含正样本，还包含负样本，能够全面评估模型在不同场景下的表现。通过在这些数据集上的实验，InsRES 证明了其在处理多目标和不存在目标问题上的有效性，同时也展示了其在实际应用中的广泛适用性。

在模型的结构设计上，InsRES 采用了模块化的思路，将复杂的任务分解为多个可处理的子任务。这种设计不仅提高了模型的可解释性，还增强了其在实际应用中的灵活性。例如，IAC 模块能够根据不同的文本描述生成对应的实例感知查询，而 MSP 模块则能够通过多层次的跨模态特征交互，实现视觉引导下的语言特征增强。这种模块化的设计使得模型能够更好地适应不同的应用场景，提高了其在实际应用中的表现。

在实际应用中，InsRES 的潜力不仅限于智能机器人和人机交互系统。它还可以应用于其他需要视觉语言理解的领域，如自动驾驶、智能安防、虚拟现实等。在这些领域中，模型需要根据用户的指令准确识别目标区域，这要求模型具备强大的视觉语言理解能力。InsRES 通过引入实例感知聚类和多尺度空间传播模块，使得模型能够更精准地识别多个目标，并在目标不存在的情况下进行有效的判断。这种设计不仅提高了模型的鲁棒性，还增强了其在复杂场景下的适应能力。

此外，InsRES 还在跨模态对齐方面取得了显著进展。传统的 RES 方法通常依赖于简单的特征融合，而未能充分考虑视觉和语言特征之间的层次化交互。InsRES 通过引入层次化的跨模态特征交互机制，使得模型能够在不同尺度上对视觉和语言特征进行更有效的对齐。这种设计不仅提高了模型的识别能力，还增强了其在多目标场景下的表现。

在模型的训练过程中，InsRES 采用了多阶段的训练策略，以确保模型能够充分学习多模态特征之间的交互关系。首先，模型通过层次化的跨模态特征交互机制，提取丰富的多模态特征表示。然后，通过实例感知聚类机制，生成与不同目标实例相关的实例感知查询。最后，模型通过多尺度空间传播机制，实现视觉引导下的语言特征增强，从而提高跨模态对齐的效果。这种多阶段的训练策略不仅提高了模型的识别能力，还增强了其在复杂场景下的适应能力。

在模型的推理过程中，InsRES 采用了多步骤的推理机制，以确保模型能够生成准确的分割掩码。首先，模型根据输入的图像和文本描述，生成实例感知查询。然后，模型通过多尺度空间传播机制，增强语言特征，从而提高跨模态对齐的效果。最后，模型根据生成的实例感知查询，过滤并选择对应的分割掩码，从而生成最终的预测结果。这种多步骤的推理机制不仅提高了模型的识别能力，还增强了其在复杂场景下的适应能力。

在实际应用中，InsRES 的优势不仅体现在其能够处理多目标和不存在目标问题，还体现在其能够提高模型的鲁棒性和适应能力。例如，在智能机器人导航系统中，机器人需要根据用户的指令准确识别目标区域，这要求模型具备强大的视觉语言理解能力。InsRES 通过引入实例感知聚类和多尺度空间传播模块，使得模型能够更精准地识别多个目标，并在目标不存在的情况下进行有效的判断。这种设计不仅提高了模型的鲁棒性，还增强了其在复杂场景下的适应能力。

此外，InsRES 还在跨模态对齐方面取得了显著进展。传统的 RES 方法通常依赖于简单的特征融合，而未能充分考虑视觉和语言特征之间的层次化交互。InsRES 通过引入层次化的跨模态特征交互机制，使得模型能够在不同尺度上对视觉和语言特征进行更有效的对齐。这种设计不仅提高了模型的识别能力，还增强了其在多目标场景下的表现。

在模型的结构设计上，InsRES 采用了模块化的思路，将复杂的任务分解为多个可处理的子任务。这种设计不仅提高了模型的可解释性，还增强了其在实际应用中的灵活性。例如，IAC 模块能够根据不同的文本描述生成对应的实例感知查询，而 MSP 模块则能够通过多层次的跨模态特征交互，实现视觉引导下的语言特征增强。这种模块化的设计使得模型能够更好地适应不同的应用场景，提高了其在实际应用中的表现。

在实际应用中，InsRES 的潜力不仅限于智能机器人和人机交互系统。它还可以应用于其他需要视觉语言理解的领域，如自动驾驶、智能安防、虚拟现实等。在这些领域中，模型需要根据用户的指令准确识别目标区域，这要求模型具备强大的视觉语言理解能力。InsRES 通过引入实例感知聚类和多尺度空间传播模块，使得模型能够更精准地识别多个目标，并在目标不存在的情况下进行有效的判断。这种设计不仅提高了模型的鲁棒性，还增强了其在复杂场景下的适应能力。

综上所述，InsRES 作为一种新的基于实例导向的 RES 框架，在处理多目标和不存在目标问题方面表现出色。通过引入实例感知聚类和多尺度空间传播模块，InsRES 不仅提高了模型的识别能力，还增强了其在复杂场景下的适应能力。实验结果表明，InsRES 在 GRES 和 RES 任务中均取得了优异的性能，其分割精度和识别能力显著优于现有方法。这一成果不仅推动了 RES 领域的发展，也为实际应用提供了强有力的技术支持。