TranSTYLer：一种用于面部和身体手势生成的多模态行为风格转换技术

《Speech Communication》：TranSTYLer: Multimodal behavioural style transfer for facial and body gestures generation

TranSTYLer是首个基于Transformer的多模态模型，可同时迁移源说话者的行为表达风格至目标说话者，保持内容不变。采用风格-内容分离机制，支持零样本学习，实验表明其优于现有方法，在seen和unseen条件下均实现高精度风格迁移与内容保留。

　　本文探讨了如何将虚拟代理的行为表达风格从一个个体转移到另一个个体，同时保持行为内容不变，以确保其传达的沟通意义不被改变。行为表达风格被定义为行为的定性特征，它不仅体现在言语中，还通过身体语言、手势和面部表情等多种非语言方式表现出来。这种风格是动态的，随着交流环境、对象以及语境的变化而不断调整，而非固定不变的属性。因此，研究如何在不同个体之间进行风格迁移，成为构建更加自然和富有表现力的虚拟代理的重要课题。

本文提出了一种名为“TranSTYLer”的新型多模态生成模型，该模型基于Transformer架构，能够同时合成面部和身体手势，以目标说话者的风格进行表达。这一模型突破了传统方法在风格迁移中仅关注单一模态或特定类型的表达方式的局限，实现了对多模态行为表达风格的全面处理。模型的核心思想是将风格与内容分离，确保在迁移过程中，目标风格不会干扰源行为所传达的信息。这一设计使得模型在面对未见过的说话者时，依然能够保持较高的迁移效果和内容保持度，从而提升了模型的泛化能力。

为了实现这一目标，研究团队对“PATS”语料库进行了扩展，增加了对话行为和二维面部地标信息。PATS语料库原本包含25名说话者的2D上半身关节关键点、Mel频谱图和BERT嵌入，共计251小时的数据和84,000个区间。这些数据被用于训练“TranSTYLer”模型，使其能够学习并理解不同说话者的行为表达风格。通过这种方式，模型不仅能够识别出风格的特征，还能够将这些特征应用到新的行为合成过程中，从而实现跨个体的风格迁移。

“TranSTYLer”模型的结构由两个主要部分组成：一个是说话者风格编码器网络，另一个是合成网络。风格编码器网络的任务是生成一个固定维度的嵌入向量，该向量能够代表目标说话者的风格特征。这一嵌入向量来源于目标说话者的多模态数据，包括文本、语音、姿态和面部地标。合成网络则根据源说话者的输入模态（如文本和语音）生成相应的手势，同时受到目标说话者风格嵌入的影响，以确保生成的手势符合目标风格的特征。这种设计使得模型能够在不依赖额外训练或微调的情况下，直接对未见过的说话者进行风格迁移。

为了验证模型的有效性，研究团队进行了多方面的评估，包括客观评估和主观评估。客观评估主要通过测量风格迁移的强度和内容保持度来实现，而主观评估则通过人类观察者的反馈来衡量生成行为的自然性和风格迁移的效果。评估结果显示，“TranSTYLer”在风格迁移任务中表现优异，尤其在处理未见过的说话者时，依然能够保持较高的风格迁移准确率和内容保持率。这一结果表明，模型不仅能够捕捉到说话者风格的复杂性，还能够在不同语境下灵活应用这些风格特征，从而提升虚拟代理的表现力和互动性。

此外，本文还提出了一种新的评估方法，用于衡量风格迁移的程度以及内容保持的效果。这种方法不仅能够量化风格迁移的准确性，还能确保生成的手势不会破坏源行为所传达的信息。通过这一方法，研究团队能够更全面地评估模型在不同场景下的表现，为未来的多模态行为生成研究提供了新的思路和工具。

在实际应用中，这种风格迁移技术可以用于创建更加个性化的虚拟代理，使其能够根据不同的用户需求和场景调整表达方式。例如，在教育领域，虚拟教师可以根据学生的反应和偏好调整其表达风格，以提高教学效果和互动体验。在娱乐领域，虚拟角色可以根据剧情需要和观众反应，动态调整其行为表达方式，从而增强沉浸感和真实感。在商业应用中，虚拟客服可以根据客户的情绪和沟通风格，调整其表达方式，以提供更贴心和个性化的服务。

总的来说，本文的研究成果为多模态行为生成和风格迁移领域带来了重要的进展。通过引入“TranSTYLer”模型，研究团队不仅解决了传统方法在风格迁移中面临的诸多挑战，还为未来的虚拟代理开发提供了新的方向和工具。未来的研究可以进一步探索如何将这种风格迁移技术应用于更广泛的场景，如跨文化沟通、情感计算以及人机交互等领域，以推动虚拟代理技术的发展和应用。