人工智能助力系统评价研究：Elicit 的价值与局限

研究人员对比传统筛选法与 Elicit 辅助筛选法，发现 Elicit 可作补充工具，但有局限。

　　在当今科研领域，系统评价是一项极为关键却又耗时费力的工作。它就像一场精心策划的寻宝之旅，要求研究人员尽可能全面地收集相关研究资料，从而对特定问题进行深入、严谨的评估。然而，随着研究数量的不断攀升，传统的人工筛选文献方式愈发显得力不从心，不仅耗费大量的时间和精力，还容易受到人为因素的干扰，导致筛选结果存在偏差。

与此同时，人工智能（AI）技术的飞速发展为科研带来了新的希望。AI 工具如雨后春笋般涌现，开始逐渐渗透到系统评价的各个环节。其中，基于 GPT-3 等语言模型的 Elicit 工具备受关注，它就像一位智能助手，能够凭借语义相似性在多个数据库中精准定位与研究问题相关的论文，哪怕这些论文并未使用完全相同的关键词。而且，Elicit 还能通过分析论文摘要，生成问题的总结，这种独特的 “定制报告” 功能让它在众多 AI 工具中脱颖而出。

面对这样的科技新宠，科研人员不禁思考：Elicit 在系统评价的筛选过程中，究竟能否为研究带来更多价值？它能否像想象中那样，成为传统筛选方法的有力补充，甚至取代传统方法呢？为了解开这些疑问，来自法国、加拿大等多个研究机构的研究人员展开了一项极具意义的研究 ，相关成果发表在《BMC Medical Research Methodology》杂志上。

研究人员采用了对比研究的方法。他们首先以 “智能生活环境支持老年人原地养老的有效性如何” 这一问题为切入点，分别运用传统的人工筛选方法和 Elicit 辅助筛选方法进行文献筛选。在使用 Elicit 时，研究人员按照原始伞状综述的纳入标准，对文章类型（系统评价）和出版年份（2005 - 2021 年）进行筛选，并多次重复搜索以确保结果的可靠性。随后，研究人员从重复性、可靠性和准确性三个方面，对 Elicit 辅助筛选的效果进行了全面评估。

在重复性方面，研究人员在不同时间重复进行了三次搜索。结果显示，三次搜索得到的结果数量差异较大，分别为 246、169 和 172 条。这表明 Elicit 在提供稳定结果方面还有待提高，就像一个不太稳定的指南针，每次指向都不太一样。

准确性评估中，研究人员按照伞状综述的标准，对 Elicit 检索到的文章进行筛选。经过标题和摘要筛选、全文审查等环节后，最终确定了 6 篇符合要求的文章。这说明 Elicit 在检索相关文章方面具有一定的能力，但数量相对较少，可能会遗漏一些重要文献。

可靠性评估则通过对比 Elicit 辅助筛选和传统筛选方法的结果来进行。研究发现，两种方法筛选出的文章存在部分重叠，但也有各自独有的文章。其中，Elicit 筛选出的文章中有 3 篇是传统方法未发现的，这显示了 Elicit 在拓展文献来源方面的潜力；然而，与传统筛选方法最终纳入的 17 篇文章相比，Elicit 筛选出的文章仅占 17.6%，这又表明 Elicit 的可靠性仍需进一步提升。

综合以上研究结果，研究人员得出结论：AI 研究助手（如 Elicit）在系统文献综述过程中，确实可以作为有价值的补充工具。它能够帮助研究人员发现一些传统方法可能遗漏的文献，为研究提供更全面的视角。但目前来看，Elicit 还存在诸多局限性，比如重复性和可靠性不足，准确性也有待提高，因此无法完全取代传统的筛选方法。

这项研究意义重大。它为科研人员在系统评价中合理使用 AI 工具提供了重要参考，让人们更加清晰地认识到 AI 工具的优势与不足。同时，也为 AI 工具的进一步优化和改进指明了方向，推动了科研领域与 AI 技术的深度融合。未来，随着 AI 技术的不断发展和完善，有望在系统评价等科研工作中发挥更大的作用，帮助研究人员更高效、更准确地开展研究。

研究的主要技术方法：以特定研究问题在 Elicit 中检索文献，按文章类型和年份筛选，重复搜索多次。由原始伞状综述作者依据相同标准对检索文章进行筛选、数据提取及对比 。

研究结果：

• 重复性：三次搜索结果数量不同，分别为 246、169 和 172 条，表明 Elicit 在相同条件下不同时间提供结果的一致性欠佳。
• 准确性：经筛选流程，最终纳入 6 篇文章，说明 Elicit 检索相关文章有一定能力，但数量有限。
• 可靠性：与传统筛选方法对比，发现 3 篇共同文章，Elicit 独有的 3 篇，传统方法独有的 17 篇，Elicit 识别的文章占传统方法最终纳入文章的 17.6% ，显示其可靠性存在提升空间。

研究结论与讨论部分强调，Elicit 可辅助系统评价，但目前不能独立完成高质量的系统评价。其准确性受研究问题表述影响，且存在引用错误等问题。同时，研究也指出 AI 工具在系统评价中的应用价值，如提高文献搜索全面性、减少人为认知偏差等，但使用时需有人为监督。这一研究成果为 AI 工具在系统评价领域的应用和发展提供了重要参考，有助于推动相关研究的进一步发展 。