跨架构掩码对比学习框架：小样本水下声学目标分类的新突破

本文提出了一种创新的跨架构掩码对比学习（CAMCL）框架，通过结合掩码学习（masked learning）和对比学习（contrastive learning）的优势，解决了水下声学目标分类（UATC）中标注数据稀缺的难题。该框架采用两阶段训练策略（自监督预训练+监督微调），并引入跨架构自监督学习（CASSL）实现Transformer到轻量CNN的知识迁移，在AudioSet-2M和DeepShip数据集上性能超越现有方法。

　　

Highlight

本研究亮点在于提出融合掩码学习与对比学习的双路径框架：掩码对比学习（MCL）通过重构掩码信号捕获全局特征，同时利用样本对比增强判别力；跨架构自监督学习（CASSL）则实现Transformer与CNN的协同训练，最终仅需部署轻量CNN即可达到SOTA性能。

Traditional Methods

传统UATC方法依赖人工特征工程（如MFCC、梅尔谱）与浅层分类器（SVM、随机森林），在复杂海洋环境中易受背景噪声和多径效应干扰。尽管部分研究尝试融合时频分析（小波变换）与深度学习，但特征泛化能力仍受限。

Overall Framework

框架以梅尔谱图为输入，分预训练和微调两阶段：

1. 1.

   CAMCL预训练：对输入信号随机掩码后，分别用Transformer（教师模型）和CNN（学生模型）提取特征，通过对比损失和重构损失联合优化；

2. 2.

   微调阶段：冻结CNN骨干网络，仅用1%标注数据即可实现85.7%分类准确率（DeepShip数据集）。

Experimental Details

实验采用AudioSet-2M（200万未标注音频）预训练，在DeepShip（4类47小时船舶声纹）微调。关键参数：掩码率15%、温度系数τ=0.1、AdamW优化器。消融实验显示MCL模块使F1-score提升12.3%，CASSL模块进一步压缩模型体积达78%。

Conclusion

CAMCL框架的创新性体现在：

• •

  首创掩码与对比学习的协同范式；

• •

  突破架构壁垒实现知识蒸馏；

• •

  在1-shot场景下准确率较基线提高19.2%。未来可扩展至海洋生物声纹识别（如鲸歌分类）等场景。