单分支网络架构：弥合多模态推荐中的模式差异

《ACM Transactions on Recommender Systems》：Single-Branch Network Architectures to Close the Modality Gap in Multimodal Recommendation

本研究提出单分支神经网络架构，结合权重共享、模态采样与对比损失，有效解决混合推荐系统中的模态缺失问题，包括冷启动场景。实验表明其在缺失模态下表现优于多分支架构，并在多个数据集上验证了方法的有效性。

　　

摘要

传统的推荐系统依赖于协同过滤（CF），利用用户过去的物品交互记录来帮助用户在庞大的物品集合中发现新物品。在“冷启动”情况下（即用户或物品的交互历史信息不可用时），基于内容的推荐系统（CBRSs）会使用辅助信息来进行推荐。通常，用户的人口统计信息和物品描述分别被用于用户和物品的冷启动。混合推荐系统（HRSs）经常采用多模态学习方法，结合协同过滤以及用户和物品的辅助信息，我们将这些信息统称为“模态”。尽管在某些模态缺失的情况下，混合推荐系统仍能提供推荐结果，但其推荐质量会下降。在这项工作中，我们使用了配备有“权重共享”、“模态采样”和“对比损失”功能的“单分支神经网络”，即使在模态缺失的情况下也能提供准确的推荐。与多分支架构相比，所有模态的编码模块共享相同的权重；换句话说，所有模态都使用同一个神经网络进行编码。这一点结合对比损失机制，对于减少模态间的差异至关重要，而模态采样则在训练过程中对处理模态缺失情况起到了关键作用。同时运用这些技术能够提高推荐准确性。我们将这些网络与多分支架构进行了对比，并在MovieLens 1M、Music4All-Onion和Amazon Video Games数据集上进行了广泛的实验。六项基于准确性的指标和四项基于非准确性的指标被用来评估不同训练方案及其超参数在暖启动和模态缺失情况下对推荐质量的影响。我们定量和定性地研究了这些因素在缩小模态差异方面的作用。实验结果表明，单分支网络在暖启动情况下能够提供具有竞争力的推荐质量，并且在模态缺失的情况下表现显著更好。此外，我们对单分支和多分支架构中的模态采样及对比损失机制的研究表明，这些机制对所有数据集的准确性指标都有积极的提升作用。总体而言，这三种训练方法能够使同一物品的各个模态在嵌入时更加接近（通过欧几里得距离和余弦相似度进行衡量），从而导致嵌入结果更难以区分且更具互换性（模态预测准确率下降了7-20%）。我们的完整实验设置，包括所有算法的训练和评估代码、超参数配置以及结果分析文档，均可在以下链接查看：https://github.com/hcai-mms/single-branch-networks。