《自然方法》深度学习增强显微镜的解析能力

深度学习是科学家在显微镜下从低分辨率图像中收集更多细节的潜在工具，但通常很难收集足够的基线数据来训练计算机。现在，索尔克研究所(Salk Institute)的科学家们开发了一种新方法，可以让这项技术更容易获得——通过拍摄高分辨率图像，并人工降质。研究结果发表在2021年3月8日的《自然方法》杂志上。

　　

拉霍亚——(2021年3月8日)深度学习是科学家在显微镜下从低分辨率图像中收集更多细节的潜在工具，但通常很难收集足够的基线数据来训练计算机。现在，索尔克研究所(Salk Institute)的科学家们开发了一种新方法，可以让这项技术更容易获得——通过拍摄高分辨率图像，并对图像人工降质。

新工具,研究人员称之为“crappifier”,可以让科学家们明显更容易获得详细的图像细胞或细胞结构,以前很难观察到,因为他们需要低照度的环境下,如线粒体,当压力除以所使用的激光照射。它还可以帮助显微镜的大众化，让科学家即使没有高分辨率的显微镜也能捕捉到高分辨率的图像。研究结果发表在2021年3月8日的《自然方法》杂志上。

索尔克的Waitt高级生物光子学核心设施主任Uri Manor说:“我们在这些显微镜上投资了数百万美元，但我们仍在努力突破它们的极限。”“这就是我们试图用深度学习来解决的问题。”

深度学习是一种人工智能(AI)，计算机算法通过研究实例进行学习和改进。为了使用深度学习来改善显微镜图像——无论是通过提高分辨率(清晰度)还是减少背景“噪声”——该系统需要看到许多高分辨率和低分辨率图像的例子。这是一个问题，因为用两种不同的曝光方式捕捉完全相同的显微镜图像既困难又昂贵。对在此过程中可能移动的活细胞进行成像尤其具有挑战性。

这就是“垃圾”出现的原因。根据Manor的说法，该方法获取高质量的图像，并通过计算对其进行降质，使其看起来像该团队所获得的最低分辨率的图像。

Manor的团队向深度学习软件展示了高分辨率图像和降质图像，该软件被称为点扫描超分辨率(PSSR)。在研究了降质的图像后，该系统能够学习如何改善自然质量较差的图像。

这一点意义重大，因为在过去，通过人工降级数据学习的计算机系统在面对来自真实世界的原始数据时仍然会遇到困难。

“我们尝试了很多不同的降解方法，我们发现了一种真正有效的降解方法，”曼诺说。“你可以在人工生成的数据上训练模型，它实际上可以在真实世界的数据上工作。”

“使用我们的方法，人们可以从这种强大的深度学习技术中受益，而无需投入大量时间和资源，”Waitt高级生物光子学核心设施的图像分析专家、该论文的第一作者方林静(音)表示。“你可以使用现有的高质量数据，降低它的质量，并训练一个模型来提高低分辨率图像的质量。”

该团队表明，PSSR既适用于电子显微镜，也适用于荧光活细胞图像——在这两种情况下，获取训练人工智能系统所需的重复高分辨率和低分辨率图像可能是非常困难或不可能的。虽然这项研究在脑组织图像上展示了这种方法，但Manor希望它在未来可以应用于身体的其他系统。

他也希望有一天它能被用于使高分辨率显微成像更广泛地被使用。目前，世界上最强大的显微镜的成本可能高达100万美元，因为创建高分辨率图像需要精确的工程。“我们对未来的一个展望是，能够开始用深度学习取代一些昂贵的部件，”Manor说，“这样我们就可以开始让显微镜变得更便宜，更容易使用。”

# # #

该研究的其他作者有索尔克研究所的萨米·韦泽·诺瓦克、卡拉·r·斯基雅芳、张彤和梅丽莎·吴;威克洛人工智能医学研究倡议的弗雷德·门罗;德克萨斯大学奥斯汀分校的林赛·柯克(Lindsey Kirk)和克里斯汀·哈里斯(Kristen Harris);加州大学圣地亚哥分校的Seungyoon B. Yu和Gulcin Pekkurnaz;Université de Montréal的凯尔·卡斯特纳(Kyle Kastner)、日本冈崎国家生理科学研究所的久保田吉之(Yoshiyuki Kubota);德克萨斯大学奥斯汀分校的张昭，以及旧金山大学的阿拉·阿卜杜勒·拉蒂夫、林子君、安德鲁·肖和杰里米·霍华德。

这项研究是由美国国家科学基金会支持,Chan-Zuckerberg倡议,韦特基金会,美国国家癌症研究所,国家耳聋和其他沟通障碍研究所,国立精神卫生研究所,威克洛艾医学研究倡议,帕金森基金会,国家健康研究所和日本促进社会科学。

关于索尔克生物研究所:

每一种治疗方法都有一个起点。索尔克研究所体现了乔纳斯·索尔克敢于将梦想变为现实的使命。它的国际知名和获奖的科学家探索生命的基础，寻求新的认识在神经科学，遗传学，免疫学，植物生物学和更多。该研究所是一个独立的非营利组织和建筑地标:选择小，天性亲密，面对任何挑战都无所畏惧。无论是癌症还是阿尔茨海默症，衰老还是糖尿病，索尔克都是治愈的起点。更多信息请访问salk.edu。