FinnAffect：一个用于自然芬兰语情感表达的语料库

《Speech Communication》：FinnAffect: An affective speech corpus for spontaneous finnish

情感表达研究需要自然语料库支持。本研究构建了首个包含12,000条非脚本芬兰语语音样本及情感标注的FinnAffect语料库，采用主动学习结合聚类方法筛选样本，标注者间相关系数达0.856（价值）和0.898（唤醒）。实验显示，ExHuBERT模型在离散化价值分类中UAR为0.458，SVM在二分类唤醒任务中表现更优，验证了语料库的可用性

　　本研究旨在探讨芬兰语使用者在日常口语和书面交流中如何表达情感，以及如何构建一个适合用于情感识别研究的自发性语音语料库。情感表达在语言交流中占据着至关重要的位置，它不仅体现在语音的语调、节奏和音高变化上，还反映在词汇选择、语法结构以及语言的整体表达方式中。然而，由于情感表达具有高度的主观性和文化依赖性，对于自发性语音中情感特征的研究仍然存在一定的挑战。

为了更好地理解和分析情感在日常交流中的表现形式，研究团队开发了一个名为FinnAffect的语音语料库。该语料库包含12,000个自发性语音样本，并由五位母语芬兰语的注释者对其情感维度进行标注，具体包括持续值的情感（valence）和唤醒度（arousal）评分。FinnAffect语料库的构建基于三个大型的非剧本芬兰语语音语料库，这些原始语料库中虽然包含了丰富的语音数据，但缺乏与情感相关的元数据。因此，研究者采用了主动学习（Active Learning, AL）的方法，从这些数据中自动筛选出具有情感表达特征的语音样本，再由人类注释者进行标注，从而确保了语料库的代表性和多样性。

FinnAffect语料库的构建过程首先依赖于对三个原始语料库的分析，这些语料库分别代表了不同的口语场景和对话类型。通过自动化的方式，研究团队识别出可能包含情感信息的语音片段，并将这些片段用于后续的情感标注工作。在标注过程中，研究者采用了一种系统化的注释方案，确保所有样本在情感维度上的评分具有一致性和可比性。此外，为了提高标注的准确性，研究团队还对标注者的评分进行分析，评估其一致性水平。结果显示，注释者在情感（valence）方面的平均皮尔逊相关系数为0.856，而在唤醒度（arousal）方面则达到了0.898，这表明注释者之间的评分具有较高的相关性，能够为后续的语音情感识别（Speech Emotion Recognition, SER）研究提供可靠的数据基础。

在完成语料库的构建和注释后，研究团队进一步进行了语音情感识别的实验，以测试该语料库在实际应用中的可行性。实验采用了多种机器学习算法，包括针对情感分类任务的细调ExHuBERT模型和用于唤醒度分类的SVM分类器。对于情感分类任务，研究者将连续的情感评分离散化为三种情感类别，并使用这些离散标签进行分类实验。实验结果显示，使用ExHuBERT模型进行情感分类的平均无加权平均召回率（Unweighted Average Recall, UAR）为0.458，而使用SVM分类器进行唤醒度分类的平均UAR则达到了0.719。这两个结果与之前在自发性语音数据集上的实验结果相比具有可比性，表明FinnAffect语料库能够为语音情感识别的研究提供有价值的数据支持。

此外，研究团队还对回归任务进行了测试，即使用连续值的情感和唤醒度评分进行建模。在这一任务中，研究者采用了基于WavLM模型的回归算法，并在MSP-Podcast语料库上进行训练，然后在FinnAffect语料库上进行微调。实验结果显示，该模型在情感回归任务上的协和相关系数（Concordance Correlation Coefficient, CCC）为0.270，而在唤醒度回归任务上的CCC达到了0.689。虽然情感回归的性能相对较低，但唤醒度的回归结果表明，该语料库在捕捉语音中的唤醒特征方面具有一定的潜力。这些实验结果为FinnAffect语料库的使用提供了进一步的验证，表明其在情感识别研究中的应用前景。

从方法论的角度来看，本研究不仅提出了一个全新的自发性芬兰语情感语音语料库，还探索了基于聚类的主动学习方法在自动数据采样中的应用。通过结合主动学习和情感挖掘技术，研究团队能够高效地从大量未标注的语音数据中筛选出具有情感表达特征的样本，从而减少了人工标注的工作量，提高了研究的效率。同时，这种方法也为未来在其他语言或语音数据集上进行类似研究提供了可借鉴的框架。

在实际应用中，FinnAffect语料库的构建和使用具有重要的意义。首先，它填补了芬兰语在情感语音研究领域的空白，为后续研究提供了高质量的数据支持。其次，该语料库包含了来自不同年龄、性别和方言背景的说话者，能够反映芬兰语情感表达的多样性，有助于理解不同社会文化因素对情感表达的影响。此外，该语料库的公开性和可访问性也为学术界和工业界的研究者提供了便利，促进了情感语音识别技术的发展和应用。

在情感表达的研究中，跨文化比较是一个重要的方向。尽管人类的情感体验在某种程度上具有跨文化的相似性，但情感的表达和感知方式却受到文化和社会规范的深刻影响。因此，FinnAffect语料库的建立不仅有助于深入了解芬兰语情感表达的特性，还能够为比较不同语言中情感表达的差异提供数据支持。这在多语言情感识别系统的研究中尤为重要，因为不同语言的情感表达方式可能存在显著的差异，进而影响情感识别模型的性能。

从技术角度来看，FinnAffect语料库的构建和使用展示了自动化数据采样和情感标注在语音情感研究中的价值。传统的语音情感研究通常依赖于专业演员或特定情境下的对话数据，而这些数据往往缺乏真实性和多样性。相比之下，FinnAffect语料库中的语音样本来源于真实的日常交流场景，能够更准确地反映人们在自然环境中的情感表达方式。这种真实性和多样性使得FinnAffect语料库在情感识别研究中具有更高的实用性和科学价值。

此外，FinnAffect语料库的构建过程也强调了数据质量在语音情感研究中的重要性。在标注过程中，研究团队采用了严格的评估标准，确保所有样本的标注结果具有较高的可信度和一致性。这种高质量的数据不仅能够提高语音情感识别模型的性能，还能够为情感分析的研究提供更加可靠的依据。因此，FinnAffect语料库的建立不仅是对芬兰语情感表达研究的贡献，也为其他语言的情感语音研究提供了参考。

总的来说，FinnAffect语料库的构建和使用为芬兰语情感表达的研究提供了新的视角和工具。通过结合主动学习和情感挖掘技术，研究团队能够高效地从大量未标注的语音数据中筛选出具有情感表达特征的样本，并对其进行系统化的标注。这种方法不仅提高了研究的效率，还确保了数据的代表性和多样性。此外，该语料库的高质量和可访问性使其成为语音情感识别研究的重要资源，为未来的研究提供了坚实的基础。随着情感语音识别技术的不断发展，FinnAffect语料库的应用前景将更加广阔，有望在多个领域中发挥重要作用。