编辑推荐：
在多模态动作识别中，不同模态的互补信息及动作时间上下文至关重要。研究人员提出模态混合器（M - Mixer）网络，该网络在多个数据集上超越了现有方法。其有效利用模态间互补信息，为多模态动作识别研究开辟了新方向。
在科技飞速发展的当下，计算机视觉领域的多模态学习备受关注。人类能够通过多种感官输入感知和与环境互动，受此启发，研究人员期望计算机也能具备类似能力，从而实现更精准的视频动作识别。早期，动作识别研究主要聚焦于单一模态，如 RGB 视频，尽管取得了一定成果，但随着研究深入，多模态融合的优势逐渐显现。然而，不同传感器采集的模态数据各具特性，如何有效利用模态间的互补信息，同时结合动作的时间上下文，成为了多模态动作识别领域的关键难题。
在此背景下，来自国外的研究人员展开了深入研究。他们提出了一种名为模态混合器（Modality Mixer，M - Mixer）的全新网络，旨在解决上述难题。该研究成果发表在《Computer Vision and Image Understanding》上，为多模态动作识别领域带来了新的突破。
研究人员在研究过程中，运用了多个关键技术方法。首先，设计了多模态上下文单元（Multi - modal Contextualization Unit，MCU），这是一种简单却高效的循环单元，负责对一种模态（如 RGB）的序列进行时间编码，并融入其他模态（如深度和红外模态）的动作内容特征。其次，引入了互补特征提取模块（Complementary Feature Extraction Module，CFEM），通过为每个模态设置单独的可学习查询嵌入，引导模块从其他模态中提取互补信息和全局动作内容。此外，还构建了多模态特征库，用于融合由 MCU 编码的模态特征，从而提取和更新跨模态和时间的共享多模态动作特征。
在研究结果部分，研究人员对 M - Mixer 网络进行了全面评估。在 NTU RGB + D 60 数据集上，采用 RGB 和深度模态时，M - Mixer 网络达到了 92.54% 的准确率；在 NTU RGB + D 120 数据集上，相同模态组合下准确率为 91.54%；在 NW - UCLA 数据集上，该网络的准确率为 94.86%。当使用 RGB、深度和红外模态时，在 NTU RGB + D 60 和 NTU RGB + D 120 数据集上，M - Mixer 网络的准确率分别达到 93.16% 和 92.66%，超越了以往的方法。通过一系列的消融实验，研究人员进一步验证了 M - Mixer 网络中各组件的有效性，如 CFEM 和多模态特征库对网络性能提升的重要作用。
研究结论表明，M - Mixer 网络成功地将多模态间的互补信息与动作的时间上下文相结合，实现了更精准的动作识别。这一成果具有重要意义，它不仅为多模态动作识别提供了新的思路和方法，推动了计算机视觉领域的发展，而且在实际应用中，如智能监控、人机交互等方面，具有广阔的应用前景。通过准确识别动作，能够提升系统的智能化水平，为人们的生活和工作带来更多便利。同时，该研究也为后续相关研究奠定了基础，鼓励更多研究人员在多模态学习领域深入探索，进一步挖掘不同模态数据的潜力，实现更强大的人工智能应用。
