基于消息传递的SIGIR 2022推荐系统论文的可重复性及结果一致性分析

《ACM Transactions on Information Systems》：Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

基于图神经网络的推荐系统研究方法学问题分析，发现10篇SIGIR 2022论文存在数据分割错误、信息泄露、基线模型选择不当等问题，导致无法验证其结论。

　　

摘要

基于图的技术结合神经网络和嵌入方法，在开发推荐系统（RS）方面受到了关注。在2022年和2023年的SIGIR会议上，有多篇相关论文发表。鉴于确保已发表研究在方法论上可靠且可复现的重要性，本文分析了10篇基于图的推荐系统论文（其中大部分发表于SIGIR 2022），并评估了这些论文对2023年SIGIR会议上发表的后续研究的影响。我们的分析揭示了几个需要关注的关键问题：(i) 存在许多不良实践，例如错误的数据划分或训练数据与测试数据之间的信息泄露，这质疑了研究结果的有效性；(ii) 提供的成果（源代码和数据）与其在论文中的描述之间存在频繁的不一致性，导致人们对实际评估的内容产生困惑；(iii) 人们倾向于使用新的或复杂的基线模型，而这些模型相比简单的模型效果更差，从而造成了持续改进的假象，尤其是在Amazon-Book数据集上，即使最先进的方法已经显著退步。由于这些问题，我们无法验证所分析的大多数论文中的观点，也无法尝试复现这些研究结果。