基于迁移学习和度量学习的低资源罗马尼亚方言识别方法研究

《IEEE Access》：Efficient Romanian Dialect Identification in Low-resource conditions using Transfer-Learning and Metric-Learning

本文针对低资源条件下罗马尼亚方言识别(DID)的挑战，提出了一种结合预训练模型特征提取和度量学习损失函数的创新解决方案。研究团队系统评估了wav2vec2、HuBERT和XEUS等自监督学习模型在不同网络层的方言判别能力，发现XEUS第4层特征结合 centroid similarity loss(CSL)能显著提升识别性能，在RoDia数据集上达到78.31%的准确率。这项工作为低资源语言的方言识别提供了有效的技术路径，对推动多语种语音技术发展具有重要意义。

　　

在全球化浪潮席卷世界的今天，语言技术已成为人机交互的核心支柱。然而，当我们把目光投向标准语言之外的方言领域，便会发现一个被技术发展边缘化的角落——方言自动识别(DID)。与语言识别(LID)相比，方言识别面临着更为严峻的挑战：同一语言的不同方言之间共享大部分词汇和语法结构，仅在发音、语调等细微处存在差异，这种高度相似性使得机器难以准确区分。

罗马尼亚语作为典型的低资源语言，其方言识别研究更是举步维艰。缺乏大规模标注数据、方言间高度相似、以及说话人性别年龄等因素的干扰，共同构成了这一领域的技术瓶颈。传统的基于梅尔频率倒谱系数(MFCC)的方法在如此复杂场景下表现不佳，准确率仅为48.18%，迫切需要新的技术突破。

为了解决这些难题，来自印度曼尼帕尔理工学院和印度理工学院的研究团队在《IEEE Access》上发表了创新性研究成果。他们巧妙地将迁移学习与度量学习相结合，为低资源条件下的罗马尼亚方言识别开辟了新途径。

研究人员采用的核心技术方法包括：首先利用MUSAN数据集进行数据增强，通过添加背景音乐和噪声提升模型鲁棒性；然后系统比较wav2vec2、HuBERT和XEUS三种预训练模型在不同网络层的特征提取效果；最后引入中心损失(CL)和质心相似度损失(CSL)等度量学习技术来增强特征的判别能力。实验采用x-向量架构，包含时间延迟神经网络(TDNN)和统计池化层，在RoDia数据集上进行了全面评估。

预训练模型的层间性能差异

研究发现，不同预训练模型的各层对方言信息的编码能力存在显著差异。wav2vec2和HuBERT的第3层、XEUS的第4层表现出最佳的方言判别性能，准确率分别达到64.24%、64.74%和72.19%。这一发现印证了语音特征在神经网络中的层次分布规律——早期层更倾向于编码音素级信息，而方言差异往往体现在细微的发音变化上。

度量学习的增强效果

针对方言间高度相似的问题，研究团队引入了两种度量学习损失函数。中心损失(CL)通过拉近同类样本在嵌入空间中的距离，有效减少了类内差异；而质心相似度损失(CSL)则在压缩类内距离的同时，扩大类间距离，实现了双重优化。

实验结果表明，CL和CSL的加入均带来了性能提升。以XEUS模型为例，加入CL后准确率从72.19%提升至75.33%，而CSL更是将准确率进一步提升至78.31%。特别值得注意的是，CSL对Moldovenesc方言的识别效果改善尤为显著，在wav2vec2和XEUS模型上分别带来了10.21%和12.11%的准确率提升。

模型混淆分析与性别偏差

混淆矩阵分析揭示了方言识别的难点所在。Muntenesc和Ardelenesc方言之间存在显著混淆，而Oltenesc和Moldovenesc也容易出现误判。进一步的研究发现，训练数据中的性别不平衡是影响性能的重要因素——Oltenesc方言训练集中男性样本远多于女性样本(296:30)，而测试集则相反(30:44)，这种偏差导致模型对女性说话人的方言识别准确率明显偏低。

嵌入空间可视化分析

t-SNE可视化结果直观展示了不同损失函数对特征空间的影响。基线模型(CEL)的嵌入分布较为分散，类间边界模糊；加入CL后，同类样本呈现出更紧密的聚类趋势；而CSL进一步优化了类间分离度，使得不同方言的边界更加清晰。 silhouette分数从基线模型的0.1520(XEUS-CEL)提升至0.3460(XEUS-CSL)，证实了度量学习对提升特征判别性的有效性。

这项研究系统论证了在低资源条件下构建高效方言识别系统的可行性。通过综合比较三种主流预训练模型，研究确定了XEUS作为最适合罗马尼亚方言识别的特征提取器，其在大规模多语言数据上训练得到的强大表征能力为低资源场景提供了有力支撑。更为重要的是，研究首次将度量学习技术引入方言识别领域，证明了中心损失和质心相似度损失在提升方言判别性方面的显著效果。

研究结果对推动语音技术的发展具有多重意义：方法学上，为低资源语音处理提供了可复用的技术框架；实践应用上，为构建包容性语音系统奠定了基础，使技术能够更好地服务于使用非标准方言的群体；科学研究上，为理解神经网络不同层次对语音特征的编码机制提供了新的视角。

然而，研究也揭示了当前方言识别技术面临的一些根本性挑战，特别是数据偏差问题。训练数据中的性别不平衡会显著影响模型性能，这提醒我们在推动技术发展的同时，必须重视数据的代表性和公平性。未来工作需要从数据收集、增强策略和偏差缓解等多个维度共同努力，才能实现真正鲁棒、公平的方言识别技术。