编辑推荐:
在系统评价中,搜索灰色文献需求渐长,谷歌搜索成为可行途径,但缺乏规范方法。研究人员开展用谷歌搜索补充传统数据库搜索的研究,发现谷歌能找到新研究等结果。这为系统评价提供新思路,助力完善证据收集方法。
在当今的医学研究领域,系统评价的重要性与日俱增。它就像是一座桥梁,连接着众多分散的研究成果,帮助研究者和决策者更全面、准确地了解某一医学问题。早期,系统评价主要聚焦于特定患者群体中严格定义的药物干预,比如心肌梗死后 β 受体阻滞剂的使用 。但随着医学研究的深入和社会对健康问题关注的拓展,系统评价的范畴也在不断扩大,开始涉及更多组织、社会或社会技术层面的干预措施,像是医疗质量改进、健康的社会决定因素干预等。
在这些新兴的研究领域中,大量相关证据可能隐藏在传统学术期刊之外,也就是所谓的 “灰色文献(Grey Literature)” 里。以往,要获取这些灰色文献,研究人员可能需要向相关组织询问未发表的研究,或者手动查阅相关学科会议的摘要,过程既繁琐又低效。然而,搜索引擎的兴起,尤其是谷歌,为搜索灰色文献带来了新的曙光,使得这一工作变得更加可行。甚至,有些同行评审者会明确要求在修订过程中进行谷歌搜索。
可问题也随之而来,目前并没有像 Cochrane 协作网针对传统生物医学干预文献搜索策略开展的一系列假设检验研究那样,为如何优化谷歌搜索以进行证据合成提供标准方法。谷歌搜索的算法不断更新,且作为商业搜索引擎具有一定的封闭性,使得传统的研究方法难以适用。因此,探索如何将谷歌搜索纳入系统评价的 “最佳实践”,不能依赖于假设检验研究,而需要从用户的经验证据中寻找答案。
为了解决这一难题,来自美国洛杉矶退伍军人事务部大洛杉矶医疗保健系统(VA Greater Los Angeles Healthcare System)的 Center for the Study of Healthcare Innovation, Implementation and Policy(CSHIIP)以及加州大学洛杉矶分校菲尔德公共卫生学院(UCLA Fielding School of Public Health)的研究人员 Isomi M. Miake-Lye、Selene Mak、Meron M. Begashaw 和 Paul G. Shekelle 开展了一项别具一格的研究。他们回顾了 5 个项目中使用谷歌搜索的经验,旨在探索如何更好地利用谷歌搜索补充传统计算机数据库搜索,为系统评价提供更全面的证据。该研究成果发表在《Systematic Reviews》杂志上。
研究人员在开展研究时,主要采用了以下关键技术方法:首先,针对每个项目,他们先运用传统的证据合成搜索方法,借助专业图书馆员针对特定主题为一系列合适的文献数据库制定搜索策略,之后再结合内容专家的意见进行补充。在此基础上,他们进行谷歌搜索,针对每个项目使用不同的搜索词进行 5 - 9 次搜索,并对每次搜索结果中的约 50 个命中项(后来根据经验调整为 100 个)进行审查筛选 。
研究结果
- 谷歌搜索能发现新研究:在 5 个项目中,每个项目都至少有一项新研究是仅通过谷歌搜索发现的。这表明谷歌搜索在挖掘灰色文献方面具有独特的价值,能够找到传统数据库搜索遗漏的研究。
- 搜索词变化影响结果:略微不同的搜索问题会产生不同的搜索命中项。而且,所有新纳入的研究都是通过一两个搜索问题的变体发现的。这说明在使用谷歌搜索时,灵活调整搜索词非常重要,可以提高发现相关研究的概率。
- 初始筛选数量限制可能不合理:基于早期试点工作设定的约 50 个命中项的筛选限制可能过于严格。在 5 个项目中的 2 个项目里,新纳入的研究在第 39 次和第 45 次搜索命中时才被发现。因此,研究团队认为在没有更好的证据确定哪些主题更可能在早期或晚期出现相关命中项之前,将筛选数量增加到 100 个可能更为合适。
- 搜索策略建议:对于给定的团队资源,研究人员认为更好的策略是搜索多个不同的问题变体,但限制每个变体的筛选命中项数量(如 50 或 100 个)。例如,使用 5 个不同的搜索问题变体,每个变体筛选 100 个命中项,比从一个搜索中筛选 500 个命中项更有效率。
- 搜索记录的重要性:由于谷歌搜索的算法具有 “黑箱” 性质,记录搜索过程至关重要。这些记录并非用于传统意义上的搜索复制,而是记录搜索词、搜索设置(如是否使用相关搜索或安全搜索选项)以及所有筛选命中项的实际内容。虽然研究团队在项目中未使用高级搜索功能(如按文档类型搜索、在 URL 内搜索等),但这些功能在特定搜索中可能会发挥作用,使用时也应记录其使用原因。
- 搜索存在收益递减:与传统数据库搜索一样,谷歌搜索也存在搜索范围扩大和深度增加时收益递减的问题。虽然扩大搜索范围往往能找到一两个符合纳入标准的新研究,但这些新证据改变研究结论或证据评估确定性的可能性较低。
研究结论与讨论
这项研究通过对 5 个项目中谷歌搜索经验的总结,为系统评价中如何使用谷歌搜索提供了宝贵的经验证据。研究表明,谷歌搜索确实能够在系统评价中找到传统数据库搜索之外的新研究,这为研究人员获取更全面的证据提供了新的途径。然而,研究也揭示了谷歌搜索存在的一些问题,如搜索结果重复率高、筛选数量难以确定、搜索策略缺乏标准化等。
研究人员提出的一系列建议,如调整搜索词、增加筛选数量、记录搜索过程等,对于规范谷歌搜索在系统评价中的应用具有重要意义。这些建议为后续研究提供了参考,有助于研究人员更高效地利用谷歌搜索补充传统数据库搜索,提高系统评价的质量。
同时,研究人员也强调,目前的研究仅基于 5 个项目的经验,样本数量相对较少。他们希望更多的同行能够分享自己使用谷歌搜索的经验,无论是相似还是相悖的结果,以便积累更多的案例,进一步完善关于如何在系统评价中使用谷歌搜索的 “最佳实践”。这不仅将推动系统评价领域的发展,也将为医学研究和决策提供更可靠的证据支持。