多视图驱动与模态自适应模型在对话情感识别中的应用

《Knowledge-Based Systems》：Multi-view Driven and Modality-Adaptive Model for Emotion Recognition in Conversation

本文提出MMERC模型，通过多视图图传播机制捕捉对话中情绪的全局一致性和局部快速变化，并利用模态自适应融合策略动态调整多模态权重，有效解决传统方法在语境建模和模态融合中的不足。实验表明MMERC在IEMOCAP和MELD数据集上显著优于现有方法。

　　随着社交媒体的迅速发展，构建能够理解用户情感和意图、实现自然交互的对话系统已成为自然语言处理（NLP）领域的重要研究方向。情感识别在对话中的应用（Emotion Recognition in Conversation, ERC）旨在为对话中的每一句话分配与上下文相关的、具有感知能力的情感标签。作为对话系统的核心组件，ERC在准确捕捉对话情境中的情感动态方面发挥着关键作用，从而为构建具有互动性、吸引力和同理心的人机交互提供重要支持。这种能力的提升反过来又推动了智能对话系统的发展。

在早期的ERC研究中，许多方法主要依赖于文本模态进行情感分类。然而，仅依靠文本信息在实际应用中存在明显的局限性。为了解决这一问题，研究人员扩展了输入来源，从单一模态转向多模态，包括音频、视觉和视频等信息，从而引入了多模态情感识别在对话中的任务（Multi-Modal Emotion Recognition in Conversation, MERC）。虽然多模态信号的引入显著提升了情感识别的性能，但MERC仍然面临两个关键挑战。首先，情感识别在对话中本质上依赖于上下文。情感的表达受到多种因素的影响，如对话历史、说话者关系和对话结构。一方面，情感表达往往具有全局的连续性，即通过语义的一致性在多个对话回合中维持一种平滑的情感流动。另一方面，自然的对话交互通常包含局部的情感变化，说话者可能因特定事件、关键词或语气的变化而突然改变情感状态。这种情感动态模式已经在心理学和社会交互研究中被观察和验证。

为了进一步验证这一现象，我们对IEMOCAP和MELD两个数据集中的相邻语句级情感转换进行了统计分析。结果显示，在IEMOCAP中，大约82%的语句与相邻语句具有相同或相似的情感，而约18%的语句则经历了显著的情感变化；在MELD中，相应的比例为84%和16%。这些发现与心理学观察结果一致，表明对话情感既表现出整体的连续性和稳定性，也存在一定比例的局部情感变化。因此，有效捕捉情感的全局一致性与局部波动性仍然是ERC面临的核心问题。

其次，多模态信息在情感交流中具有天然的互补性。文本模态传达语义内容，音频模态捕捉语调、语速和音量，而视觉模态则提供非语言线索，如面部表情和肢体动作。然而，每种模态在不同对话情境中的情感表达能力存在差异。如图1所示，不同模态在各种对话场景中对情感识别的贡献并不均衡。如果没有显式地建模这些模态间的差异，融合策略可能会误判模态的重要性，从而削弱关键信号或放大冗余信息。这会导致融合失衡，最终影响模型的判别能力和泛化性能。因此，动态感知不同情境下每种模态的相对贡献，并据此引导融合过程，是提升多模态ERC系统性能的核心挑战。

为了解决上述问题，我们提出了一种新颖的模型——多视角驱动和模态自适应的情感识别在对话中的模型（Multi-view Driven and Modality-Adaptive Model for Emotion Recognition in Conversation, MMERC）。首先，为了同时捕捉情感表达的全局稳定和局部波动，我们设计了一种多视角图传播机制，该机制整合了低频和高频成分。这种机制使模型能够在对话情境中同时建模平滑的情感流动和突然的情感变化，从而增强其对情感连续性和突变的双重感知能力。其次，为了解决多模态融合中的信息失衡问题，我们对每种模态（文本、音频和视觉）分别进行情感分类，生成单模态伪标签。通过将这些伪标签与真实标签进行比较，我们计算模态置信度分数，这些分数能够动态量化每种模态在当前样本中的可靠性。这些置信度分数随后用于指导后续的融合过程。最后，我们设计了一种基于模态贡献的对抗性融合机制。该组件采用双层Transformer模型来建模模态间的交互，同时引入了模态判别器。模态置信度被用作对抗目标，鼓励融合表示以反映每种模态的真实贡献进行信息整合。通过这种方法，融合后的特征保留了关键模态的表达能力，同时动态调整融合权重，从而有效缓解了模态冗余和融合失衡的问题，最终提升了对话情感识别的准确性和鲁棒性。

综上所述，本文的主要贡献如下：第一，我们提出了一种新颖的多视角图传播机制，该机制能够联合建模全局和局部语义，从而增强模型在对话情境中感知复杂情感动态的能力。第二，我们提出了一种基于模态贡献的创新对抗性融合机制，该机制能够动态引导模态融合，缓解模态冗余和融合失衡的问题。第三，我们在两个公开的基准多模态数据集IEMOCAP和MELD上进行了广泛实验。实验结果表明，我们提出的MMERC模型在多个评估指标上均优于现有的最先进的基线方法，展示了其卓越的泛化能力和鲁棒性。

在方法部分，我们首先介绍不同模态的特征编码方法，然后描述多视角和多粒度的融合建模，最后展示基于模态贡献的对抗性融合方法。MMERC模型的整体框架如图2所示。在数据集和评估部分，我们评估模型在两个基准数据集上的效果：IEMOCAP和MELD。这两个数据集均为多模态ERC数据集，包含文本、音频和视觉模态。我们遵循MMGCN[23]所采用的数据集划分策略。表1展示了这两个数据集的数据分布情况。

IEMOCAP是一个多模态ERC数据集。每条对话在IEMOCAP中都是两个演员之间的剧本表演。该数据集的特点在于其丰富的多模态信息，能够全面反映对话情境中的情感变化。MELD则是一个多模态情感数据集，包含文本、音频和视觉模态，其设计旨在评估模型在不同场景下的情感识别能力。两个数据集均采用标准的划分方式，确保实验的公平性和可重复性。

在结果和分析部分，我们首先讨论了所提出模型与基线模型的对比实验结果，随后进行了消融实验以分析每个提出模块的贡献。接着，我们开展了一系列实验，评估关键参数和基于模态贡献的对抗性融合机制的影响。最后，我们进行了案例研究，分析模型在处理特定实例时的能力。实验结果表明，MMERC模型在多个评估指标上均优于现有方法，展示了其在情感识别任务中的优越性能。此外，消融实验进一步验证了各模块的有效性，表明多视角图传播机制和对抗性融合机制对模型性能的提升具有显著作用。

此外，我们还分析了模型在不同参数设置下的表现。通过调整融合权重和图传播的层数，我们发现模型在保持高准确率的同时，能够有效适应不同场景下的情感变化。对抗性融合机制的引入，使得模型能够更好地捕捉模态间的互补性，从而在多模态情感识别任务中取得更好的效果。案例研究进一步展示了模型在处理具体实例时的能力，例如在情感突然变化的对话场景中，模型能够准确识别并预测情感状态的转变，从而提升其在实际应用中的表现。

在结论部分，本文提出了MMERC模型，以解决当前多模态情感识别在对话中的挑战，如上下文建模不足和模态融合的动态适应性缺乏。该模型在两个关键方面改进了现有方法：首先，通过设计多视角图传播机制，模型能够联合建模全局和局部语义，从而增强其对复杂情感动态的感知能力。其次，通过引入基于模态贡献的对抗性融合机制，模型能够动态调整融合权重，缓解模态冗余和融合失衡的问题，提升情感识别的准确性和鲁棒性。这些改进使得MMERC模型在实际应用中表现出更强的适应性和有效性，为构建更加智能和自然的人机对话系统提供了新的思路和方法。

通过本研究，我们希望为情感识别在对话中的研究提供有价值的参考。MMERC模型不仅在理论上有创新，而且在实践中表现出色，能够有效应对多模态情感识别中的关键问题。未来的研究可以进一步探索如何将MMERC模型应用于更广泛的场景，例如在线客服、虚拟助手和智能教育等。此外，还可以研究如何在不同的语言和文化背景下优化模型的性能，以适应更复杂的情感表达需求。总之，MMERC模型为情感识别在对话中的研究提供了一个新的方向，具有广阔的应用前景和研究价值。