Diff-mamba：一种用于高光谱图像分类的扩散模型框架

《Neurocomputing》：Diff-mamba: A diffusion-mamba framework for hyperspectral image classification

本文提出基于扩散模型与Mamba架构的Diff-Mamba方法，通过光谱-空间扩散特征生成、Mamba全局特征提取和中心像素语义令牌生成三模块协同优化，有效建模高维HSI数据的光谱-空间分布关系，实验表明其分类性能优于现有方法，代码已开源。

　　在当今的遥感技术领域，高光谱图像（Hyperspectral Image, HSI）分类是一项具有重要意义的研究任务。HSI分类本质上是一个像素级别的分类问题，其目标是为指定场景中的每一个像素分配一个土地覆盖类别标签。随着高光谱成像技术的快速发展，高分辨率的图像数据成为可能，这不仅提高了空间和光谱分辨率，还使得通过高光谱图像数据实现对材料的细粒度识别成为现实。HSI技术在地球观测任务中展现出广阔的应用前景，例如植物病害检测、军事侦察、环境科学、精准农业和矿产勘探等。因此，HSI分类不仅是高光谱数据处理的核心环节，也是实现多种应用的关键手段。

近年来，深度学习技术的迅速发展为遥感图像处理带来了新的变革。许多基于深度神经网络的HSI分类方法被提出并广泛应用，如自编码器（Auto-Encoder, AE）、卷积神经网络（Convolutional Neural Networks, CNN）、循环神经网络（Recurrent Neural Networks, RNN）、生成对抗网络（Generative Adversarial Networks, GAN）、图卷积网络（Graph Convolutional Networks, GCN）以及Transformer等。其中，基于CNN和Transformer的方法受到了较为广泛的关注。CNN由于其强大的局部特征提取能力以及局部连接和分层表达的特性，已经被成功应用于HSI分类任务。而Transformer方法则借助自注意力机制和位置编码的优势，能够从全局视角有效捕捉序列数据中的长距离依赖关系，从而在HSI分类任务中取得了令人满意的成果。

然而，CNN和Transformer在建模全局上下文方面仍面临一定挑战。CNN的受限感受野使得其在捕捉长距离依赖关系时表现不佳，而Transformer的二次计算复杂度则在处理大规模数据时带来较高的计算负担。Mamba作为一种新兴的模型结构，通过状态空间模型来捕捉长距离依赖关系，并且具有线性计算复杂度，为解决上述问题提供了一种有效的途径。基于Mamba的HSI分类方法因其强大的全局建模能力而受到越来越多的研究关注。然而，Mamba在HSI分类中的应用仍存在一些局限性。例如，Mamba在捕捉长距离依赖关系时可能会忽略局部细节，同时在平衡全局和局部特征方面仍有待深入研究。此外，现有方法往往未能充分考虑高维高光谱数据中复杂的光谱-空间分布关系，这限制了对丰富上下文语义的全面探索和利用。

为了解决上述问题，本文提出了一种基于扩散模型和Mamba的新型框架，称为Diff-Mamba。该框架的核心思想是利用扩散模型和Mamba模型来有效建模高光谱数据中的复杂光谱-空间分布关系和长距离依赖关系。Diff-Mamba框架主要包括三个模块：光谱-空间扩散特征生成模块、基于Mamba的全局特征提取模块以及中心像素驱动的语义标记生成模块。其中，光谱-空间扩散特征生成模块是通过扩散模型构建的，其作用是捕捉高光谱图像中物体的光谱-空间分布信息。该模块由前向扩散过程和反向去噪过程组成。在反向去噪过程中，我们提出了一种基于Transformer块的光谱-空间扩散网络，专门用于HSI分类任务。该网络能够有效捕捉高光谱图像中固有的复杂分布关系，从而生成具有代表性的扩散特征。

为了适应高光谱数据的复杂性，该模块采用了迭代去噪和显式构建数据生成过程的方法，从而在样本之间建立交叉关联，并生成能够反映光谱-空间分布信息的扩散特征。在反向去噪过程中，我们通过光谱-空间扩散网络进行多步迭代去噪，以确保扩散特征能够准确捕捉真实数据的分布关系。同时，前向扩散过程引入了空间和光谱维度的噪声，以模拟真实数据的生成过程。通过这种方式，光谱-空间扩散网络的潜在特征能够反映高光谱图像的分布关系，从而为后续的全局特征提取模块提供高质量的输入。

基于Mamba的全局特征提取模块则旨在以线性复杂度建模全局的光谱-空间特征关系。该模块首先引入动态位置嵌入，以增强序列中样本的空间位置信息。然后，利用Mamba模型对序列中的样本进行建模，从而提取出具有全局意义的光谱-空间特征。Mamba模型在处理长距离依赖关系时表现出色，其线性计算复杂度使其在处理大规模数据时具有较高的效率。通过动态位置嵌入和Mamba模型的结合，该模块能够有效地捕捉全局的光谱-空间特征，从而为HSI分类任务提供全面的特征表示。

中心像素驱动的语义标记生成模块则专门用于抑制干扰像素的影响，并增强局部细节信息。该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。在HSI分类任务中，图像块内的非目标像素可能会对分类结果产生干扰，因此该模块的设计能够有效解决这一问题。通过中心像素驱动的语义标记生成模块，我们可以更精确地捕捉图像块中关键像素的特征信息，从而提升分类的准确性。

本文的主要贡献可以总结为以下几个方面。首先，我们提出了一种新型框架，将扩散模型与Mamba模型相结合，以充分利用高光谱数据中的丰富上下文语义信息，从而显著提升分类性能。据我们所知，这是首次在HSI分类任务中构建基于Transformer块的扩散网络。其次，为了建模复杂的光谱-空间分布关系，我们设计了光谱-空间扩散特征生成模块。该模块包括前向和反向扩散过程，通过精心设计的光谱-空间扩散网络提取出能够反映分布信息的扩散特征。这些扩散特征能够通过显式构建数据生成过程，增强样本之间的交叉感知能力。第三，为了高效建模全局的光谱-空间关系，我们设计了基于Mamba的全局特征提取模块，该模块引入动态位置嵌入，以增强样本的空间位置信息，从而实现对全局光谱-空间特征的准确建模。第四，为了抑制干扰像素的影响并增强局部细节信息，我们提出了中心像素驱动的语义标记生成模块，该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。

本文的其余部分将按照以下结构进行组织。第二部分简要介绍了扩散模型和Mamba模型的基础知识，为后续研究提供理论支持。第三部分详细描述了我们提出的Diff-Mamba框架。第四部分介绍了实验设置，并进行了广泛的实验，包括消融实验，以验证所提出方法的有效性。最后，第五部分总结了本研究的成果，并展望了未来的研究方向。

在高光谱图像分类任务中，建模复杂的光谱-空间分布关系是提升分类准确性的关键。然而，目前大多数方法主要关注于增强全局和局部特征表示，而忽视了高维数据中复杂的光谱-空间分布关系。为此，本文提出了一种基于扩散模型和Mamba的新型框架，即Diff-Mamba，以从生成的角度有效建模高光谱数据中的复杂光谱-空间分布关系。该框架由三个主要模块组成：光谱-空间扩散特征生成模块、基于Mamba的全局特征提取模块以及中心像素驱动的语义标记生成模块。

光谱-空间扩散特征生成模块的核心是构建基于Transformer块的光谱-空间扩散网络，以捕捉高光谱图像中物体的光谱-空间分布信息。扩散模型的前向扩散过程和反向去噪过程共同作用，以生成高质量的扩散特征。前向扩散过程通过在空间和光谱维度上引入噪声，模拟真实数据的生成过程，而反向去噪过程则通过迭代去噪和显式构建数据生成过程，以增强样本之间的交叉关联。通过这种方式，光谱-空间扩散网络能够生成反映真实数据分布关系的扩散特征，为后续的全局特征提取模块提供输入。

基于Mamba的全局特征提取模块则利用动态位置嵌入来增强样本的空间位置信息，并通过Mamba模型的线性复杂度对序列中的样本进行建模，从而提取出具有全局意义的光谱-空间特征。Mamba模型在处理长距离依赖关系时表现出色，其线性计算复杂度使其在处理大规模数据时具有较高的效率。通过动态位置嵌入和Mamba模型的结合，该模块能够有效捕捉全局的光谱-空间特征，从而为HSI分类任务提供全面的特征表示。

中心像素驱动的语义标记生成模块则专门用于抑制干扰像素的影响，并增强局部细节信息。该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。在HSI分类任务中，图像块内的非目标像素可能会对分类结果产生干扰，因此该模块的设计能够有效解决这一问题。通过中心像素驱动的语义标记生成模块，我们可以更精确地捕捉图像块中关键像素的特征信息，从而提升分类的准确性。

本文提出的Diff-Mamba框架在四个公开的HSI数据集上的实验结果表明，该方法在分类性能上具有竞争力，能够与当前最先进的方法相媲美。此外，本文还提供了完整的代码，供研究者下载和使用。实验结果不仅展示了所提出方法的有效性，还为后续研究提供了参考。

在高光谱图像分类任务中，建模复杂的光谱-空间分布关系是一项具有挑战性的任务。当前大多数方法主要关注于增强全局和局部特征表示，而忽视了高维数据中复杂的光谱-空间分布关系。为此，本文提出了一种基于扩散模型和Mamba的新型框架，即Diff-Mamba，以从生成的角度有效建模高光谱数据中的复杂光谱-空间分布关系。该框架由三个主要模块组成：光谱-空间扩散特征生成模块、基于Mamba的全局特征提取模块以及中心像素驱动的语义标记生成模块。

光谱-空间扩散特征生成模块的核心是构建基于Transformer块的光谱-空间扩散网络，以捕捉高光谱图像中物体的光谱-空间分布信息。扩散模型的前向扩散过程和反向去噪过程共同作用，以生成高质量的扩散特征。前向扩散过程通过在空间和光谱维度上引入噪声，模拟真实数据的生成过程，而反向去噪过程则通过迭代去噪和显式构建数据生成过程，以增强样本之间的交叉关联。通过这种方式，光谱-空间扩散网络能够生成反映真实数据分布关系的扩散特征，为后续的全局特征提取模块提供输入。

基于Mamba的全局特征提取模块则利用动态位置嵌入来增强样本的空间位置信息，并通过Mamba模型的线性复杂度对序列中的样本进行建模，从而提取出具有全局意义的光谱-空间特征。Mamba模型在处理长距离依赖关系时表现出色，其线性计算复杂度使其在处理大规模数据时具有较高的效率。通过动态位置嵌入和Mamba模型的结合，该模块能够有效捕捉全局的光谱-空间特征，从而为HSI分类任务提供全面的特征表示。

中心像素驱动的语义标记生成模块则专门用于抑制干扰像素的影响，并增强局部细节信息。该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。在HSI分类任务中，图像块内的非目标像素可能会对分类结果产生干扰，因此该模块的设计能够有效解决这一问题。通过中心像素驱动的语义标记生成模块，我们可以更精确地捕捉图像块中关键像素的特征信息，从而提升分类的准确性。

本文提出的Diff-Mamba框架在四个公开的HSI数据集上的实验结果表明，该方法在分类性能上具有竞争力，能够与当前最先进的方法相媲美。此外，本文还提供了完整的代码，供研究者下载和使用。实验结果不仅展示了所提出方法的有效性，还为后续研究提供了参考。

在高光谱图像分类任务中，建模复杂的光谱-空间分布关系是一项具有挑战性的任务。当前大多数方法主要关注于增强全局和局部特征表示，而忽视了高维数据中复杂的光谱-空间分布关系。为此，本文提出了一种基于扩散模型和Mamba的新型框架，即Diff-Mamba，以从生成的角度有效建模高光谱数据中的复杂光谱-空间分布关系。该框架由三个主要模块组成：光谱-空间扩散特征生成模块、基于Mamba的全局特征提取模块以及中心像素驱动的语义标记生成模块。

光谱-空间扩散特征生成模块的核心是构建基于Transformer块的光谱-空间扩散网络，以捕捉高光谱图像中物体的光谱-空间分布信息。扩散模型的前向扩散过程和反向去噪过程共同作用，以生成高质量的扩散特征。前向扩散过程通过在空间和光谱维度上引入噪声，模拟真实数据的生成过程，而反向去噪过程则通过迭代去噪和显式构建数据生成过程，以增强样本之间的交叉关联。通过这种方式，光谱-空间扩散网络能够生成反映真实数据分布关系的扩散特征，为后续的全局特征提取模块提供输入。

基于Mamba的全局特征提取模块则利用动态位置嵌入来增强样本的空间位置信息，并通过Mamba模型的线性复杂度对序列中的样本进行建模，从而提取出具有全局意义的光谱-空间特征。Mamba模型在处理长距离依赖关系时表现出色，其线性计算复杂度使其在处理大规模数据时具有较高的效率。通过动态位置嵌入和Mamba模型的结合，该模块能够有效捕捉全局的光谱-空间特征，从而为HSI分类任务提供全面的特征表示。

中心像素驱动的语义标记生成模块则专门用于抑制干扰像素的影响，并增强局部细节信息。该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。在HSI分类任务中，图像块内的非目标像素可能会对分类结果产生干扰，因此该模块的设计能够有效解决这一问题。通过中心像素驱动的语义标记生成模块，我们可以更精确地捕捉图像块中关键像素的特征信息，从而提升分类的准确性。

本文提出的Diff-Mamba框架在四个公开的HSI数据集上的实验结果表明，该方法在分类性能上具有竞争力，能够与当前最先进的方法相媲美。此外，本文还提供了完整的代码，供研究者下载和使用。实验结果不仅展示了所提出方法的有效性，还为后续研究提供了参考。

在高光谱图像分类任务中，建模复杂的光谱-空间分布关系是一项具有挑战性的任务。当前大多数方法主要关注于增强全局和局部特征表示，而忽视了高维数据中复杂的光谱-空间分布关系。为此，本文提出了一种基于扩散模型和Mamba的新型框架，即Diff-Mamba，以从生成的角度有效建模高光谱数据中的复杂光谱-空间分布关系。该框架由三个主要模块组成：光谱-空间扩散特征生成模块、基于Mamba的全局特征提取模块以及中心像素驱动的语义标记生成模块。

光谱-空间扩散特征生成模块的核心是构建基于Transformer块的光谱-空间扩散网络，以捕捉高光谱图像中物体的光谱-空间分布信息。扩散模型的前向扩散过程和反向去噪过程共同作用，以生成高质量的扩散特征。前向扩散过程通过在空间和光谱维度上引入噪声，模拟真实数据的生成过程，而反向去噪过程则通过迭代去噪和显式构建数据生成过程，以增强样本之间的交叉关联。通过这种方式，光谱-空间扩散网络能够生成反映真实数据分布关系的扩散特征，为后续的全局特征提取模块提供输入。

基于Mamba的全局特征提取模块则利用动态位置嵌入来增强样本的空间位置信息，并通过Mamba模型的线性复杂度对序列中的样本进行建模，从而提取出具有全局意义的光谱-空间特征。Mamba模型在处理长距离依赖关系时表现出色，其线性计算复杂度使其在处理大规模数据时具有较高的效率。通过动态位置嵌入和Mamba模型的结合，该模块能够有效捕捉全局的光谱-空间特征，从而为HSI分类任务提供全面的特征表示。

中心像素驱动的语义标记生成模块则专门用于抑制干扰像素的影响，并增强局部细节信息。该模块通过动态调整图像块中目标像素和其他像素的权重，从而显著提升判别性特征的生成和聚焦能力。在HSI分类任务中，图像块内的非目标像素可能会对分类结果产生干扰，因此该模块的设计能够有效解决这一问题。通过中心像素驱动的语义标记生成模块，我们可以更精确地捕捉图像块中关键像素的特征信息，从而提升分类的准确性。

本文提出的Diff-Mamba框架在四个公开的HSI数据集上的实验结果表明，该方法在分类性能上具有竞争力，能够与当前最先进的方法相媲美。此外，本文还提供了完整的代码，供研究者下载和使用。实验结果不仅展示了所提出方法的有效性，还为后续研究提供了参考。