差异引导的多向互补网络在遥感图像语义分割中的研究

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Difference-Guided Multi-Directional Complementary Network for Remote Sensing Imagery Semantic Segmentation

本文针对遥感影像语义分割中存在的类间差异小和小目标识别困难两大挑战，提出了一种差异引导的多向互补网络（DGMDC-Net）。研究通过设计差异注意力引导聚合模块（DAGAM）放大相似特征间的差异信息以增强类间方差，构建多向频率增强模块（MDFEM）利用小波域多方向纹理边缘特征优化小目标轮廓，并开发多层次互补模块（MLCM）实现细节与场景上下文信息的互补融合以提升小目标定位精度。在四个公开基准数据集上的实验结果表明，该方法在mIoU、OA等指标上均优于现有先进方法，显著提升了复杂场景下遥感影像的语义分割精度。

　　

对高分辨率遥感图像进行精确的语义分割，是实现自动化城市管理、精准农业监测和自然灾害评估的关键技术。然而，现实中的遥感影像往往存在两大核心挑战：一是不同地物类别（如建筑物与道路、低矮植被与树木）在光谱、纹理和空间分布上高度相似，导致模型难以区分，即类间差异小；二是车辆等小尺寸目标在影像中占比极小，且易受阴影、遮挡等因素影响，其特征表达不完整，定位困难。传统卷积神经网络和当前的注意力机制方法在处理这些问题时各有局限：卷积操作可能弱化空间关联，而主流注意力机制在计算特征相似性时又往往忽略了相似特征内部的差异性信息；同时，频域方法对小波变换的利用多停留在简单融合层面，未能充分挖掘其多方向的细节表征能力。这些因素共同制约了遥感影像语义分割精度的进一步提升。

为此，发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上的这项研究，提出了一种名为差异引导的多向互补网络（DGMDC-Net）的新模型。该模型的核心思路是通过三个创新模块协同工作，分别应对上述挑战。DAGAM模块旨在增大类间差异，其原理是首先计算局部区域特征的相似性并进行加权聚合，然后提取聚合后信息中的差异特征，并以此作为引导信号来重构注意力图的响应分布，从而使模型对相似类别具有更强的区分能力。MDFEM模块则专注于提升小目标轮廓的表达能力，它首先利用小波变换将图像分解为LL、LH、HL、HH四个子带，然后通过多方向边缘感知和方向性纹理分析两条分支，分别增强不同方向的边缘和纹理信息，最后通过纹理-边缘协同分支，利用纹理信息辅助边缘定位，从而更精确地捕捉小目标的边界。MLCM模块负责在编码器与解码器之间的特征传递过程中，实现浅层细节特征与深层语义特征的互补融合，它通过细节补偿和场景补偿两个分支，利用权重引导的交互机制，使细节特征获得场景上下文的补充，同时场景特征也融入了更多细节信息，从而显著改善了小目标的定位精度。

研究人员在ISPRS Vaihingen、ISPRS Potsdam、LoveDA和UAVid这四个公开的遥感语义分割数据集上进行了广泛实验。这些数据集涵盖了城市、乡村、无人机视角等多种场景，包含建筑物、道路、车辆、植被、水体等多种地物类别，具有不同的空间分辨率和尺度变化，为全面评估模型性能提供了良好平台。实验采用平均交并比（mIoU）、总体精度（OA）和各类别的F1分数作为评价指标。

在关键技术方法上，本研究以ConvNeXt-Tiny作为编码器 backbone，构建了一个端到端的语义分割网络。解码器部分主要由DAGAM和MDFEM模块构成。在多级特征融合方面，设计了MLCM模块，用于协调和传递浅层细节信息与深层语义信息。损失函数结合了交叉熵损失和Dice损失，以同时优化类别区分和区域重叠。

模型结构有效性分析：消融实验结果表明，DGMDC-Net的三个核心模块均能有效提升模型性能。在Vaihingen数据集上，单独使用DAGAM模块可使mIoU达到84.46%，比基线模型提升2.72%；单独使用MDFEM模块主要提升小目标（如车辆）的分割效果，车辆类别的IoU提升显著；而MLCM模块的加入则进一步改善了小目标的定位精度。当三个模块共同作用时，模型在Vaihingen数据集上取得了87.70%的mIoU和93.60%的OA，达到了最优性能。

类间方差增强效果：通过DAGAM模块，模型能够更好地区分易混淆的类别。在Potsdam数据集的定性结果中可以看到，对于特征高度重叠的区域（如建筑物与道路、树木与低矮植被），DGMDC-Net的错分现象明显少于对比方法。这是因为DAGAM利用差异信息引导全局建模，放大了不同类别特征之间的差异，从而提高了类间方差。

小目标轮廓捕捉能力：MDFEM模块通过小波域的多方向细节增强，显著提升了对小目标轮廓的感知能力。在UAVid数据集的实验结果中，DGMDC-Net对车辆等小目标的分割精度明显优于对比方法，特别是在目标被部分遮挡或与背景对比度较低的情况下。这是因为MDFEM不仅增强了多方向的边缘信息，还利用纹理特征辅助边缘定位，从而能够更完整地捕捉小目标的轮廓。

多层级特征互补效果：MLCM模块通过权重引导的交互机制，实现了细节特征与场景上下文的有效互补。在LoveDA数据集的复杂场景中，DGMDC-Net能够同时保持细节的完整性和场景的一致性，对于边界模糊或形态多变的类别（如水体、荒地等）具有更好的分割效果。这表明MLCM模块能够有效协调不同层级特征的信息流动，提升模型在复杂场景中的泛化能力。

与先进方法对比：在四个数据集上的综合实验表明，DGMDC-Net在绝大多数评价指标上均优于当前最先进的方法，如SFFNet、CGGLNet、LSKNet等。特别是在小目标检测和易混淆类别区分方面，DGMDC-Net展现出了明显优势。例如，在Potsdam数据集上，DGMDC-Net的mIoU达到了87.70%，比次优方法提高了0.59%；在车辆类别的IoU上，比次优方法提高了1.20%。

研究的讨论部分指出，虽然DGMDC-Net在多个数据集上取得了领先的性能，但在计算效率方面仍有优化空间。未来的工作将探索更轻量级的网络架构设计，并研究如何将对比学习等先进技术引入到遥感图像分割任务中，以进一步提升模型的泛化能力和效率。此外，对于不同风格数据集间的泛化能力也是未来需要重点研究的方向。

综上所述，这项研究通过创新性地提出差异引导的多向互补网络，有效解决了遥感影像语义分割中的两个核心难题——类间差异小和小目标识别困难。DAGAM模块通过差异信息引导的注意力重分布增强了类别区分能力；MDFEM模块通过小波域的多方向细节感知优化了小目标轮廓表示；MLCM模块则通过多层次特征互补提升了小目标定位精度。在四个公开基准数据集上的综合实验证明了该方法的有效性和先进性，为复杂场景下的遥感影像精细解译提供了新的技术思路和解决方案。这项工作不仅推动了遥感语义分割技术的发展，也为相关应用领域的实际部署提供了有力支持。