InterAct：一个大规模的数据集，记录了日常生活中两个人之间动态、富有表现力且互动性强的活动

《Proceedings of the ACM on Computer Graphics and Interactive Techniques》：InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios

双人日常互动行为捕捉研究提出新数据集InterAct与扩散模型方法，包含241分钟长度的多模态交互数据（音频/动作/表情），动态建模目标导向的复杂交互行为，并实现基于扩散的交互表情和动作估计，通过分层回归和新型调优机制提升精度。

　　

摘要

我们致力于解决在日常场景中准确捕捉两个人之间互动行为的问题。以往的大多数研究要么只关注一个人，要么仅仅研究两个人的对话手势，假设每个参与者的身体朝向和/或位置在每次互动中保持不变或变化很小。相比之下，我们提出同时建模两个人的活动，并关注目标驱动的、动态的、语义一致的互动，这类互动通常持续时间更长，覆盖的空间也更广。为此，我们收集了一个新的多模态数据集InterAct，其中包含241个动作序列，这些序列记录了两个人在完整的互动过程中（持续一分钟或更长时间）进行的真实且连贯的场景。每个序列中，两个参与者被分配不同的角色和情绪标签，并协作完成一项任务或进行共同的互动活动。我们记录了两个人的音频、身体动作和面部表情。InterAct包含了丰富多样的个体动作以及之前很少见到的有趣且相对长期的互动模式。我们还展示了一种简单而有效的基于扩散的方法，该方法可以从语音输入中估计两个人的互动面部表情和身体动作。我们的方法以分层的方式对身体动作进行回归分析，并提出了一种新的微调机制来提高面部表情中嘴唇部分的准确性。为了促进进一步的研究，数据和代码将会公开。