具有可学习小波增强特征的多模态融合网络，用于高光谱解混

《International Journal of Remote Sensing》：Multimodal fusion network with learnable wavelet-enhanced features for hyperspectral unmixing

光谱解混技术通过融合LiDAR空间数据和自适应小波变换，有效解决光谱相似物侯体区分难题。创新设计多尺度卷积融合模块，提升特征表示鲁棒性，实验验证优于现有深度学习方法。

　　

摘要

高光谱解混（Hyperspectral Unmixing, HU）旨在获取亚像素级别的物质成分信息，这对于高光谱图像处理技术的精准发展至关重要。近年来，由于深度学习（Deep Learning, DL）在捕捉数据中的复杂和非线性特征关系方面表现出强大能力，因此被广泛应用于高光谱解混领域。然而，仅依赖高光谱图像进行解混往往无法有效区分复杂场景中的物体，尤其是在不同端元具有相似光谱特征的情况下。为了解决这一局限性，我们提出了一种多模态融合网络（Multimodal Fusion Network, MMFNet），该网络结合了激光雷达（Light Detection and Ranging, LiDAR）数据中固有的高度信息。MMFNet能够同时从高光谱图像中提取光谱特征，从激光雷达数据中提取空间特征。此外，大多数现有的基于深度学习的高光谱解混方法仅在原始光谱域内运行，这使它们容易受到光谱变化、噪声的影响，并且具有有限的区分能力。为了克服这些挑战，我们将可学习小波变换（Learnable Wavelet Transform, LWT）集成到MMFNet中，以自适应地将高光谱信号分解为多个频率子域，从而在保持空间一致性的同时减轻光谱变化和噪声的影响。另外，我们还设计了一个多尺度卷积融合模块（Multi-Scale Convolution Fusion Module, MSCFM），用于在不同感受野中捕获语义信息，并增强光谱特征与空间特征的细粒度融合。通过这些设计，MMFNet生成了更加鲁棒和具有更强区分能力的特征表示，从而能够更好地分离光谱相似的端元。大量实验表明，所提出的MMFNet性能优于多种现有的先进解混方法。