基于人类听觉表征学习与多头注意力的跨方言鸟类声音识别研究

《Ecological Informatics》：Human Auditory Representation Learning for cross-dialect bird species recognition

本文针对跨方言鸟类声音识别（BSR）中因地理变异导致的声学特征偏移问题，提出了一种名为人类听觉表征学习（HARL）的新方法。该方法结合了Mel-和Gammatone-声谱图及其动态特征，并引入多头注意力（MHA）机制，在D3BV和S1/S2数据集上的实验表明，HARL显著提升了模型在跨区域场景下的识别准确率、UAR和F1分数，为解决生物声学监测中的方言变异挑战提供了有效的技术路径。

　　

在全球生物多样性监测领域，自动鸟类声音识别（Bird Sound Recognition, BSR）技术正发挥着越来越重要的作用。然而，一个长期存在的挑战限制了其广泛应用：同一种鸟在不同地理区域可能会形成独特的“方言”，导致其鸣叫声在音高、节奏和音节结构上产生变异。这种方言现象使得在一个地区训练的BSR模型，在应用到另一个地区时性能显著下降。传统的声学特征和模型往往难以捕捉这种由地理隔离和生态适应引起的声学特征偏移，严重制约了大规模、自动化生物声学监测的可靠性。

为了突破这一瓶颈，发表在《Ecological Informatics》上的一项研究提出了一种新颖的解决方案——人类听觉表征学习（HARL）。该研究的核心思想是模仿人类听觉系统处理复杂声音的强大能力，通过融合多种听觉感知线索来构建对鸟类声音更鲁棒的表征。研究人员认为，尽管鸟类方言存在差异，但其物种特有的基本声学“指纹”在更抽象的感知层面上可能是保守的。因此，通过设计能够同时捕捉声音的静态频谱特性、动态时序变化以及更精细的调制信息的计算模型，有望学习到能够跨越方言差异的、更具判别性的特征。

为了验证这一设想，研究团队构建了一个系统的技术框架。该方法首先从音频数据中提取两种互补的听觉表征：Mel-声谱图（Mel-spectrogram），它模拟了人耳对频率的非线性感知；以及Gammatone-声谱图（Gammatone-spectrogram），它能提供更精细的频率分辨率，尤其适用于分析鸟类鸣叫中的谐波结构。不仅如此，研究还进一步计算了这两种声谱图的一阶差分（delta）和二阶差分（delta-delta）特征，以刻画声音频谱随时间的变化速度和加速度，这些动态特征对于区分具有相似静态频谱但时序模式不同的鸣叫至关重要。所有这些特征被组合成一个丰富的特征集。随后，研究采用一个双流ResNet50网络作为主干网络，分别处理Mel流和Gammatone流的特征。为了优化特征融合，模型引入了多头注意力（Multi-Head Attention, MHA）机制，使网络能够自适应地关注对分类最关键的频段和时间片段。最终，通过全连接层完成鸟类物种的分类。研究使用了专门设计的D3BV数据集（包含三个地理上隔离的区域D₁, D₂, D₃的10种鸟类数据）以及S₁/S₂子集（来自两个不同栖息地的8种鸟类数据）进行严格的跨方言评估，即在一个区域的数据上训练模型，在另一个区域的数据上测试其泛化能力。

研究结果

1. 提出的HARL方法显著优于基线方法

实验结果表明，新提出的HARL方法在D3BV数据集的所有六种跨区域组合（D_mD_n, m≠n）上，其准确率（ACC）、未加权平均召回率（UAR）和F1分数均显著超过基线方法。例如，在最具挑战性的D₂D₁场景（即在D₂训练，在D₁测试）下，HARL将F1分数从基线的26.41%提升至49.88%，绝对提升幅度达到23.47%。在S₁/S₂子集上，HARL同样表现出色，在S₁S₂和S₂S₁设置下分别取得了86.34%和82.04%的F1分数。这些结果充分证明了HARL在应对由地域差异引起的声学分布变化方面具有强大的泛化能力。

2. 多种人类听觉表征的有效性

通过消融实验，研究人员深入分析了不同特征组合的贡献。结果显示，将静态（Static）声谱图、一阶差分（delta）和二阶差分（delta-delta）特征进行融合的HARL完整配置（Static+delta+deltaDelta）取得了最佳的整体性能。单独的delta或deltaDelta特征虽然能提供补充信息，但其单独使用时的性能远低于融合后的效果。这证实了研究的基本假设：静态频谱信息、时序动态信息和调制信息对于精确描述鸟类声音是互补且不可或缺的。这种融合策略有效地克服了单一特征表征的局限性，从而在面对方言变异时保持了更高的识别稳定性。

3. 多头注意力（MHA）机制的增强作用

研究还评估了MHA机制在模型中的重要性。在加入MHA后，模型在多数跨方言场景下的性能得到进一步提升。特征可视化（如UMAP降维图）显示，引入MHA后，不同鸟类物种的特征在嵌入空间中形成了更清晰的类别边界，类内聚集度更高，类间分离度更大。这表明MHA机制成功地引导模型关注那些对于区分不同物种更具判别性的声学线索，同时抑制了由方言差异或背景噪声带来的无关变异，从而增强了模型的判别能力和鲁棒性。

4. 骨干网络的选择与模型稳健性

研究人员还比较了不同深度的ResNet骨干网络（如ResNet18, ResNet34, ResNet50, ResNet101）在HARL框架下的表现。综合来看，基于ResNet50的双流骨干网络在性能与计算效率之间取得了最佳平衡，其整体F1分数最高（72.29%），且在不同测试场景下的性能波动（标准差为13.47%）最小，表现出最稳定的跨方言泛化能力。

结论与意义

本研究成功开发并验证了人类听觉表征学习（HARL）框架，用于解决跨方言鸟类声音识别这一关键难题。该研究的主要结论是：通过仿生学思路，融合多种模拟人类听觉处理过程的声学表征（Mel-声谱图、Gammatone-声谱图及其动态微分特征），并结合注意力机制来聚焦关键判别特征，能够显著提升BSR模型在应对地理方言变异时的泛化性能和鲁棒性。

这项研究的意义重大。首先，在方法论上，它为解决分布外（Out-of-Distribution, OOD）泛化问题提供了一个新颖的、受生物听觉启发的计算范式，不仅适用于鸟类声音识别，也对其他生物声学分类任务（如昆虫、两栖动物声音识别）具有借鉴意义。其次，在实践应用上，该技术有望极大地推动大规模、自动化生物多样性监测的发展。利用部署在不同生态区域的录音设备，即使存在方言差异，也能实现准确的物种识别与追踪，这对于评估生态系统健康、监测物种种群动态以及制定有效的保护策略具有不可估量的价值。最终，这项工作为构建更智能、更适应真实复杂环境的生态声学监测系统迈出了坚实的一步。