新研究强调了人工智能在筛选健康数据方面的潜力和缺陷

　　

ISB研究强调人工智能在筛选健康数据方面的潜力和缺陷

新的研究强调了大型语言模型在揭示健康的社会决定因素方面的优势，同时强调了人类监督和改进去识别方法的必要性

系统生物学研究所（ISB）的研究人员对使用人工智能（AI）从电子健康记录中识别健康的社会决定因素的优势和局限性获得了新的见解。他们的同行评议结果于周三公布。

ISB团队与Providence合作，利用了由生成式预训练转换器（GPT）开发的大型语言模型（LLM）。他们的研究完全是在普罗维登斯安全的内部环境中进行的。

这项旨在检测住房不稳定性的研究对来自795名孕妇的25000多份临床记录进行了分析，并评估了两种大型语言模型（GPT-4和GPT-3.5）、命名实体识别模型、正则表达式和人类审查。

这项研究在两个重要方面超越了以往的研究。首先，研究人员测量了人工智能在发现住房挑战、区分当前和过去住房不稳定方面的能力，并从临床记录中提供直接证据。其次，他们测量了如果音符被去识别，人工智能的表现是否会有所不同。

GPT-4是四种测试技术中最有效的，在发现房屋不稳定的情况下比人类更好（回忆）。然而，当人们没有住房不稳定性（精度）时，人类更善于理解。人类也更善于从临床记录中提供正确的证据。“这些结果表明llm提供了一种可扩展的，具有成本效益的解决方案，可以为可能受益于外展的患者进行初步搜索，”ISB副教授Jennifer Hadlock博士说，他是该论文的通讯作者。

GPT-4通常提供与人类选择来证明答案相同的文本。值得注意的是，在审查的GPT-4回答中没有出现幻觉评论，很可能是因为研究人员设计了LLM指令，要求从笔记中逐字提供证据。

然而，在某些情况下，AI对注释文本的解释是不正确的，可能会产生误导。这一点尤其重要，因为住房状况可能与许多其他具有挑战性或危险的情况（如家庭暴力）交织在一起。“当医疗保健专业人员决定是否以及如何提供帮助时，他们会非常仔细地考虑患者的安全。我们的研究结果表明，让人类阅读图表中的实际文本仍然是必要的，而不仅仅是法学硕士摘要”。

此外，在一项新颖的实验中，研究人员发现，当记忆同一份临床记录的去识别版本时，记忆力更差。这些笔记已经通过一种被称为“隐藏在显眼处”的自动化技术去识别了，这种技术用真实但虚构的替代信息取代了潜在的敏感信息（如姓名、地点和日期）。去身份化有时会对关键信息进行重新分类，从而扭曲准确判断住房不稳定性的能力。“这凸显了改进去识别方法的必要性，以保护隐私，同时又不会丢失有关健康社会决定因素的重要细节。”