多尺度时空谱注意力网络在任意尺度高光谱图像超分辨率中的应用

《Neurocomputing》：Multiscale Spatial-Spectral Attention Network for Arbitrary-Scale Hyperspectral Image Super-Resolution

高光谱图像超分辨率中提出MSANet，采用双分支架构结合多尺度光谱注意力和非局部空间-光谱注意力，通过全局局部查询重建解决坐标相关离散问题，提升空间细节和光谱连续性。

　　

王世岩|赵家伟|唐佳佳

重庆邮电大学

摘要

超分辨率对于提升高光谱图像（HSI）的质量至关重要，因为它直接缓解了图像空间分辨率与光谱分辨率之间的固有矛盾。现有方法通常为每个尺度因子训练一个特定的模型，在需要任意尺度超分辨率（ASSR）的现实场景中表现不佳。为克服这些限制，我们提出了一种名为MSANet的多尺度空间-光谱注意力网络，用于高光谱图像的任意尺度超分辨率处理。虽然高光谱图像包含丰富的光谱信息，但2D/3D卷积无法捕捉全局依赖关系，这常常导致光谱失真；而Transformer则往往计算成本较高。MSANet通过双分支架构实现特征提取与融合，有效解决了这些问题。光谱分支采用了多尺度光谱注意力（MSSA）模块，通过三倍膨胀卷积扩大感受野并建模跨尺度光谱关系；空间-光谱分支则使用非局部空间-光谱注意力（NLS2A），在增强空间细节的同时自适应地整合空间特征与光谱特征之间的非局部依赖性。为克服基于坐标的潜在编码上采样导致的不连续重建问题，我们引入了全局-局部查询重构（GLQR）技术，将非局部光谱特征映射到连续的空间特征空间中，从而提升潜在编码的表示质量并减少信号不连续性。与现有最先进模型相比，大量实验表明MSANet在保持空间细节和光谱连续性方面具有更优的性能。

章节摘录

引言

高光谱遥感图像同时提供了详细的空间信息和连续的光谱信息，这对于精准农业、城市规划[1]、[2]以及自然灾害预测[3]等应用至关重要。由于传感器接收到的入射能量存在限制，保留丰富的光谱信息往往需要牺牲空间分辨率。当前的光学遥感成像系统无法同时满足这些需求。

高光谱图像超分辨率

由于光谱分辨率与空间分辨率之间的固有矛盾，现有的光学遥感成像系统无法同时实现高空间分辨率和高光谱分辨率。根据辅助图像的使用方式，现有的超分辨率方法可分为两类：基于融合的方法和单一高光谱图像超分辨率技术。

概述

如图2所示，MSANet包含三个阶段：特征提取、多尺度空间-光谱特征融合和上采样重建。为了充分利用空间和光谱信息，采用了双分支架构进行特征提取与融合，包括光谱分支和空间-光谱分支。位于光谱分支的MSSA模块通过三倍膨胀卷积扩大感受野并建模光谱相关性。

数据集与评估指标

(1) Chikusei数据集使用Headwall Hyperspec-VNIR-C成像传感器在混合农业和城市景观区域拍摄获得。该图像的空间维度为2517 × 2335像素，包含128个光谱波段，覆盖363至1018纳米的波长范围，地面采样距离（GSD）为2.5米。

(2) Houston 2018数据集作为2018年IEEE GRSS数据融合竞赛的一部分发布，拍摄于休斯顿大学校园及其周边城区。

结论

我们提出了MSANet，这是一种用于高光谱图像任意尺度超分辨率（HSI-ASSR）的多尺度空间-光谱注意力网络。为了捕捉空间和光谱域中的跨尺度相关性，MSANet采用了双分支架构：光谱分支采用多尺度光谱注意力（MSSA）通过膨胀卷积有效扩大感受野并建模光谱相关性；空间-光谱分支则配备非局部空间-光谱注意力（NLS2A），以整合空间特征与光谱特征之间的非局部依赖性。

CRediT作者贡献声明

唐佳佳：负责撰写初稿、验证、资源协调及项目管理工作。王世岩：负责撰写、审稿与编辑、方法论设计、研究实施、资金争取及形式化分析、概念构思。赵家伟：负责可视化展示、结果验证、资源协调及项目管理工作。

利益冲突声明

作者声明他们没有已知的可能会影响本文研究工作的财务利益或个人关系。

王世岩2008年在中国西安交通大学获得学士学位，2013年在浙江大学获得信息与通信工程博士学位。目前她是重庆邮电大学的副教授，研究方向包括图像处理、计算机视觉、人工智能和深度学习。