用概率结果多样化找到你要找的东西

为了处理网络搜索和推荐系统等应用程序中的模糊和不明确的查询，筑波大学的研究人员开发了一种方法，以概率的方式对候选结果进行排序和排名。测试的最终评估指标可以在训练中直接优化。评分函数同时考虑候选结果之间的相互作用。这种方法被证明优于最先进的方法。

　　

最近，我们在网上搜索各种各样的东西——要看的视频，给家人的礼物，甚至是修理漏水管道的水管工。但是，当我们的查询可能意味着不同的东西或者没有包含足够的信息时，计算机应该怎么做呢?搜索结果多样化，即搜索引擎系统不仅返回最佳匹配，还返回多样化的答案集合，被广泛视为解决方案，筑波大学(University of Tsukuba)的研究人员开发了一种新的概率方法，性能优于最先进的方法。

在目前的很多算法中，搜索结果都是贪婪的多样化，即逐个选择文档。不幸的是，这种策略很慢，而且只有在最初选择的文档已经非常接近最佳答案的情况下才有效。其他方法使用基于机器学习的“得分和排序”策略，但在训练中用于优化的标准可能与在测试中用于评估的标准非常不同。

“另一个问题是，这些模型的优化目标包括参数，必须很好地调整，”该研究的作者于海涛教授解释说。“如果设置不当，会影响搜索性能。”

为了解决这些问题，筑波大学的研究小组采用了一种概率方法:他们没有给每个候选文档分配一个确定的分数，而是使用遵循特定分布的概率分数来表示候选文档的相关性。他们还考虑了结果之间的相互作用，并仔细制定评价指标作为优化目标。

“我们可以直接优化用于测试的评估指标，”余教授说。“在我们的方法中，训练中使用的指标与测试中使用的指标是相同的。”此外，在确定优化目标时不需要人工调优参数，即使输入数据有噪声，该方法也能很好地工作。

将来，这种概率方法也可以用于其他任务，如文档摘要和释义。目前，随着我们进入大数据时代，搜索信息比以往任何时候都重要，像这样的算法可以为我们提供相关的、多样化的答案，将大大提高我们的生活质量。