PGTuner：一个用于自动且可移植配置调整的邻近图框架

《Proceedings of the ACM on Management of Data》：PGTuner: An Efficient Framework for Automatic and Transferable Configuration Tuning of Proximity Graphs

自动邻近图配置调优框架PGTuner通过预训练查询性能预测模型和深度强化学习推荐参数配置，解决了传统方法效率低、依赖复杂且动态场景适应性差的问题，实验验证其效率提升达14.69倍，动态场景提升14.64倍，代码和数据已开源。

　　

摘要

近似最近邻搜索（ANNS）在许多关键领域发挥着重要作用。邻近图（PGs）是ANNS的主要方法，它在查询效率和准确性之间提供了最佳的平衡。然而，它们的性能在很大程度上取决于各种构建和查询参数，而这些参数由于复杂的相互依赖关系而难以优化。鉴于用户通常会优先考虑特定的准确性水平，因此高效地识别出满足这些目标的最优PG配置至关重要。尽管一些研究已经探索了PGs的自动配置调整方法，但这些方法受到效率低下和结果不理想的限制。这些问题源于每次数据集发生变化时都需要从头开始构建大量的PGs并进行重新调整，以及未能捕捉到配置、查询性能和调整目标之间的复杂依赖关系。

为了解决这些挑战，我们提出了PGTuner，这是一个利用预训练知识和模型迁移技术进行自动PG配置调整的高效框架。PGTuner通过一个预训练的查询性能预测（QPP）模型来提高效率，从而无需构建多个PGs。它还具备基于深度强化学习的参数配置推荐（PCR）模型，能够为特定的数据集和准确性目标推荐最优配置。此外，PGTuner结合了分布外检测和深度主动学习技术，以便在动态场景中高效地进行调整，并能够适应新的数据集。广泛的实验表明，PGTuner能够在不同的数据集上稳定地实现顶级调整效果，同时将调整效率提高了多达14.69倍，在动态场景中的提升幅度更是达到了14.64倍。PGTuner的代码和数据可在以下链接在线获取：https://github.com/hao-duan/PGTuner。