一种新的医疗人工智能模型可以通过查看一系列图像类型来帮助发现全身性疾病

华盛顿大学助理教授王生讨论了生物医学分析模型，这是一种人工智能医学图像分析模型，可以跨越九种类型的医学图像，更好地预测全身性疾病。医疗专业人员可以将图像加载到系统中，并用简单的英语向人工智能工具询问有关图像的问题。

　　

人工智能在读取医学图像的能力方面取得了令人印象深刻的进步。在英国国家卫生服务机构最近的一项测试中，一种人工智能工具查看了1万多名女性的乳房x光照片，并正确识别出哪些患者被发现患有癌症。人工智能还发现了11例医生遗漏的病例。但系统性疾病，如狼疮和糖尿病，对这些系统提出了更大的挑战，因为诊断通常涉及多种医学图像，从核磁共振成像到CT扫描。

华盛顿大学保罗艾伦计算机科学与工程学院助理教授Sheng Wang与微软研究院和普罗维登斯遗传学和基因组学的合著者合作创建了生物医学分析模型，这是一种人工智能医学图像分析模型，可用于九种类型的医学图像，以更好地预测全身性疾病。医疗专业人员可以将图像加载到系统中，并用简单的英语向人工智能系统提问。

该研究小组于11月18日在《自然方法》杂志上发表了他们的研究结果。

西澳大学新闻与王就该工具以及人工智能在医疗保健领域的道德和前景进行了交谈。

你们实验室研究什么？

Sheng Wang：我们专注于多模态生成人工智能，这意味着我们致力于处理多种医学图像。以前的研究一次只考虑一种类型的图像，例如癌症研究中的病理图像。我们的新方法是综合考虑各种图像来预测全身性疾病。像糖尿病这样的疾病会出现在全身各处——眼睛、牙齿、肾脏等等。如果你只有一个可以看眼睛图像的模型，它可能会错过关于全身性疾病的事情。

你刚刚与微软和普罗维登斯基因公司的研究人员发表了一篇论文，该论文可以处理九种不同的医学图像，并在文本和图像之间进行翻译。OpenAI等公司和艾伦人工智能研究所（Allen Institute for Artificial Intelligence）等组织最近发布了可以在文本和图像之间移动的人工智能模型。医学图像有何不同？

SW：例如，当ChatGPT或谷歌的Gemini为猫的图像建模时，该图像非常小-我们说256像素。但医学图像要大得多，可能有10万像素。如果打印两张图像，大小的差别就像网球和网球场的差别。因此，同样的方法不能应用于医学图像。

但是ChatGPT非常擅长理解和总结长文档。所以我们在这里用同样的技术来总结非常大的病理图像。我们把它们分解成许多小图像，每张256 × 256。这些小图像组成了一个类似小图像的“句子”，但这里的基本元素不是单词或字符——而是一个小图像。生成式人工智能可以非常准确地总结这组小图像。今年5月，我们发布了GigaPath，这是一个使用这种方法处理病理图像的模型。

在我们最新的论文中，我们结合了各种工具来构建BiomedParse，它可以跨九种模式工作，使我们能够整合包括CT扫描、核磁共振成像、x射线等在内的模型。

我们发现很难建立一个可以考虑所有模式的模型，因为人们可能不愿意分享所有这些数据。相反，我们为每种图像类型构建一个模型。有些是我们的，有些是哈佛大学和微软的其他专家的，然后我们把它们都投射到一个共享的空间里。

我们的灵感来自世界语，世界语是一种结构化的语言，不同国家的人可以交流，类似于现在英语在欧洲的功能。我们的生物分析论文的主要思想是使用人类语言作为不同医学成像模式的世界语。CT扫描与MRI非常不同，但每一张医学图像都有临床报告。所以我们把所有东西都投射到文本空间。然后两幅图像会很相似，不是因为它们都是CT扫描，而是因为它们谈论的是相似的病人。

这个工具的潜在应用是什么？它能让全科医生更好地理解许多不同的图像类型吗？

Sheng Wang：是的，它有点像医学图像的搜索引擎。它使非专业人员能够与模型讨论需要领域专业知识的非常专业的医学图像。这可以使医生更好地理解图像，因为，例如，阅读病理图像通常需要很高的专业知识。

即使是非常有经验的医生也可以使用我们的模型更快地分析图像并发现细微的变化。例如，他们不需要逐像素地查看每个图像。我们的模型可以首先给出一些结果，然后医生可以专注于那些重要的区域。因此，这可以使它们更有效地工作，因为我们自动提供非常一致的结果——与专家的人工注释相比，准确率超过90%——只需0.2秒。由于这是一种检测生物医学物体位置并计数细胞数量的工具，因此我们通常可以容忍90%的准确率来正确检测物体并预测下游疾病。但医生的指导仍然是必要的，以确保这些人工智能工具得到正确使用。这是一种增强他们技能的方式，而不是取代他们。

医生可以使用吗？

Sheng Wang：我们已经发布了一个demo。接下来，我们希望与UW Medicine合作，进一步开发该模型，然后在患者同意的情况下将其部署到UW Medicine系统中。这是整个华盛顿大学的一项巨大努力。我们收集了大量的数据，涵盖了人体的不同部位，不同的模式和不同的疾病。所以我们希望我们能推进全身性疾病的检测。

显然，生成式AI系统存在各种各样的问题。文本模型使信息产生幻觉，返回错误的答案并编造事实。图像生成器会扭曲物体。是否有人担心将这些数据应用到像医学成像这样敏感的东西上？

Sheng Wang：实际上，我们正在提交另一篇论文，专门针对医学中生成人工智能的伦理问题。其中一个问题是幻觉。例如，你可以给一些人工智能模型一个胸部CT图像，并询问牙齿问题是什么。这个问题没有任何意义，因为我们无法从CT扫描中分辨出牙齿问题，但一些现有的人工智能模型实际上会回答这个问题，显然这是错误的答案。

另一个问题是道德问题。我们可以给生成人工智能一个牙齿图像，然后问：“这个病人的性别和年龄是什么？”那是私人信息。或者你可以让它重建这个人的脸。因此，我们正在努力检测这些不道德的问题，并确保模型拒绝回答。

是什么让你对生成式人工智能在医学上的应用感兴趣？

Sheng Wang：我曾经用人工智能进行药物发现和基因组学研究，但我发现这是一个非常有限的领域，因为开发一种药物可能需要5到10年的时间，最耗时的部分是对药物进行测试——在老鼠身上进行试验，在人类身上进行试验，等等。我转向医学是因为我觉得人工智能在分析图像数据和图像以及文本方面非常强大。

我也在研究药物再利用。这意味着，例如，一种用于治疗视网膜疾病的药物，无需为其他目的而设计，也可以治疗心力衰竭。因此，如果这种药物已经用于视网膜疾病，我们发现它对心力衰竭有效，我们可以立即应用它，因为我们知道它是安全的。这是用人工智能研究全身性疾病的潜在好处之一。如果我们将视网膜图像与心力衰竭图像结合起来发现视网膜图像可以预测心力衰竭，我们可能会发现这样一种药物。这是一个长期目标。