基于时空注意力多分辨率融合的卫星图像时间序列超分辨率重建方法研究

《Remote Sensing of Environment》：Temporal attention multi-resolution fusion of satellite image time-series, applied to Landsat-8/9 and Sentinel-2: all bands, any time, at best spatial resolution

本文针对多源卫星图像时间序列（SITS）在时空分辨率不匹配、数据缺失和云污染等方面的挑战，提出了一种名为TAMRF（Temporal Attention Multi-Resolution Fusion）的新型深度学习框架。该研究通过结合空间编码器、Transformer时序编码器和解码器，实现了Landsat-8/9与Sentinel-2数据的协同超分辨率重建，显著提升了时空连续性和数据质量。实验结果表明，TAMRF在保持辐射精度的同时有效恢复了高频空间细节，为全球环境监测和土地利用研究提供了可靠的数据支持。

　　

随着对地观测技术的飞速发展，卫星遥感已成为全球环境监测不可或缺的手段。然而，不同卫星传感器因设计目标差异，存在时空分辨率相互制约的固有矛盾：高时空分辨率难以兼得。例如，Sentinel-2卫星虽能提供10米空间分辨率图像，但重访周期为5天；而Landsat系列卫星虽具16天重访能力，其空间分辨率仅30米。这种互补特性使得多源数据融合成为提升时空连续性的关键途径。但现有方法仍面临三大挑战：一是云层遮挡导致时序数据缺失严重，二是跨传感器波段不一致增加融合难度，三是传统算法难以同时建模复杂的时空依赖关系。

为解决上述问题，中国科学院空天信息创新研究院团队在《Remote Sensing of Environment》发表研究，提出时空注意力多分辨率融合框架TAMRF。该框架通过双分支空间编码器分别处理Landsat-8/9和Sentinel-2数据，利用Transformer架构建模时序依赖，结合掩码自编码训练策略，实现了任意时间点的双向预测（插值与外推）。特别值得关注的是，该方法首次在不依赖严格时空配准的前提下，同步完成空间超分辨率和时间序列重建两项任务。

关键技术方法主要包括：1）基于RRDB（Residual-in-Residual Dense Block）的空间编码器进行特征提取和上采样；2）融合时序位置编码和传感器标识的Transformer架构；3）结合Huber损失、对比损失和LPIPS（Learned Perceptual Image Patch Similarity）损失的多目标优化策略；4）使用LS2S2数据集（包含全球202个训练区/110个测试区）进行验证。

空间特征编码模块

研究采用改进的SRResNet架构作为基础网络，其中Landsat分支包含3倍上采样操作以对齐Sentinel-2分辨率。通过残差密集连接结构，网络能有效提取多尺度空间特征，并为后续时序建模提供统一维度的特征表示。

时序注意力融合机制

创新性地将每个像素点的时序观测值构建为token序列，加入正弦余弦位置编码和可学习的传感器标识。通过多层Transformer encoder-decoder结构，模型能自适应学习不同季节、不同传感器间的非线性映射关系，显著提升对云隙区域的重建精度。

多任务损失函数设计

针对遥感数据特性，团队设计了四类损失函数的组合：基于Huber损失的辐射重建项确保像素级精度，频域对比损失项抑制无效数据影响，空间感知损失（LPIPS）提升纹理真实性，特别引入的无效数据对比损失有效解决云污染问题。

跨传感器波段映射

通过岭回归建立Sentinel-2波段（如红边波段）与Landsat传统波段间的统计关系，克服了传感器间波段不匹配的难题。实验表明该方法在可见光-近红外波段相关系数达0.9以上，在热红外波段也保持0.7以上的相关性。

研究结论表明，TAMRF在测试集上显著优于传统STARFM、FSDAF等算法，在空间细节恢复指标（BRISQUE）提升约40%，时序连续性误差降低23%。特别在农作物生长监测、城市扩展追踪等场景中，重建数据能准确捕捉物候变化细节。该框架为构建高时空分辨率全球观测数据集提供了新范式，对气候变化研究、精准农业等应用具有重要价值。讨论部分指出，未来工作将探索更多卫星星座的融合，并进一步优化模型在极端天气条件下的稳定性。