SPMF：一种基于显著性的伪多模态融合模型，用于数据稀缺的海事目标检测

《Ocean Engineering》：SPMF: a saliency-based pseudo-multimodality fusion model for data-scarce maritime targets detection

针对海洋目标检测中背景干扰大、多模态传感器成本高的问题，提出基于显著性增强的伪多模态融合模型SPMF。通过光谱吸收特性优化增强目标与背景对比度，结合频谱平滑重建生成高对比度抗混叠显著性图，并设计双主干网络融合RGB与伪红外模态，有效解决小样本小目标检测难题，在SeaDronesSee和AFO数据集上验证其优于传统基线模型。

　　本文探讨了在海洋目标检测领域中面临的主要挑战，并提出了一种创新性的解决方案——基于显著性的伪多模态融合检测模型（SPMF）。海洋环境因其复杂的背景变化和数据获取的困难，给目标检测任务带来了极大的挑战。传统方法在处理这些场景时往往效果不佳，特别是在低对比度、小样本和小尺寸目标识别方面。SPMF模型通过模拟红外特征，有效提升了检测性能，同时避免了对专用传感器的依赖。

海洋目标检测是一项具有重要现实意义的任务，尤其在无人机遥感和搜救系统中。然而，由于海洋环境中的波浪反射、光线干扰和照明不足，目标与背景之间的对比度常常较低，这使得目标识别变得困难。此外，传统的单模态检测方法通常基于RGB图像，仅保留亮度信息，缺乏对目标特征的增强能力。相比之下，红外图像能够提供更高的对比度，有助于识别隐藏在复杂背景中的目标。但红外传感器的使用不仅成本高昂，而且体积较大，难以在资源受限的平台上部署。因此，如何在不依赖额外传感器的情况下，利用现有数据模拟红外特征，成为当前研究的重要方向。

SPMF模型正是为解决这些问题而设计的。该模型首先引入了一种基于海洋光谱吸收特性的增强模块，通过提升目标与背景之间的对比度，增强目标的可见性。其次，模型采用了频谱平滑重建技术，生成具有高对比度和抗混叠特性的显著性图。显著性图不仅保留了目标的特征，还模拟了红外图像的特性，从而在不使用红外传感器的情况下，实现了类似的效果。最后，模型将生成的显著性图与原始RGB图像融合，通过双主干网络结构进行特征提取和检测。这种设计不仅降低了对额外硬件的需求，还提高了模型在复杂场景下的鲁棒性。

在实验方面，SPMF模型在SeaDronesSee数据集上进行了测试。该数据集是专门用于无人机遥感的海洋搜救数据集，涵盖了从目标检测到多目标跟踪的多个任务。实验结果显示，与基线模型相比，SPMF在平均精度（mAP）上提升了2个百分点，达到53.9%。此外，在小样本和小尺寸目标类别上，如救生设备（LSA）和浮标，SPMF的平均精度（AP）分别提升了3个百分点和4.6个百分点，达到38.6%和56.8%。在游泳者、船只和救生设备类别中，SPMF的AP值均高于其他对比模型，显示出其在特定场景下的优势。

除了在SeaDronesSee数据集上的表现，SPMF模型还在AFO数据集上进行了验证。AFO数据集涵盖了多种海洋环境下的目标检测任务，实验结果表明，SPMF在这些场景中也展现出良好的泛化能力，无需进行特定领域的调优即可取得优异的检测效果。这一结果进一步证明了SPMF模型的有效性和实用性。

SPMF模型的核心贡献在于其创新性的设计思路。首先，模型引入了专门针对海洋吸收带的光谱增强模块，通过优化目标与背景之间的对比度，有效抑制了背景干扰，提升了目标的可见性。其次，模型采用了频谱平滑重建技术，生成的显著性图不仅具有高对比度，还具备良好的抗混叠特性，从而在复杂海洋环境中保持稳定的表现。第三，模型构建了一个双主干网络结构，将显著性图作为伪红外模态，与原始RGB图像进行融合，实现了多模态特征的提取和检测，同时避免了对额外传感器的需求。第四，模型在SeaDronesSee数据集上进行了大量实验，结果显示其在小尺寸和小样本目标类别上的表现显著优于现有方法，同时保持了相对较低的参数量。第五，模型在AFO数据集上的测试进一步验证了其强大的泛化能力，无需针对特定场景进行调整即可取得优异的检测效果。

值得注意的是，SPMF模型并不是对现有技术的简单组合，而是通过深入研究海洋环境的特性，设计出了一套独特的解决方案。例如，光谱增强策略并非通用的光谱处理工具，而是专门针对海洋吸收带进行优化，以保留目标特征并抑制背景干扰。频谱平滑重建技术也并非简单的图像平滑或降噪方法，而是结合了频谱连续性约束和显著性保留，专门解决海洋场景中的混叠问题。伪红外模态的设计也不仅是将显著性图与RGB图像进行融合，而是重新定义了显著性图在检测过程中的作用，使其能够替代红外传感器，这与现有的多模态融合框架有所不同。

在实际应用中，SPMF模型具有广泛的前景。它能够有效应对海洋环境中的复杂挑战，提升目标检测的准确性和鲁棒性。同时，由于不需要额外的传感器，SPMF模型在资源受限的平台上也具有较高的可行性。此外，模型在小样本和小尺寸目标识别方面表现出色，这在实际搜救任务中尤为重要，因为这些目标往往更容易被忽视，导致数据集不平衡和检测性能下降。

综上所述，SPMF模型通过创新性的设计思路和有效的技术手段，解决了海洋目标检测中的关键问题。它不仅提升了检测性能，还降低了对额外硬件的需求，为未来的无人机遥感和搜救系统提供了新的解决方案。随着技术的不断发展，SPMF模型有望在更多实际场景中得到应用，为海洋目标检测领域带来新的突破。