-
生物通官微
陪你抓住生命科技
跳动的脉搏
激光共聚焦显微镜的新标杆
【字体: 大 中 小 】 时间:2021年07月26日 来源:生物通
编辑推荐:
新推出的尼康AX|AX R第十代激光共聚焦显微成像系统在硬件和软件的创新都非常令人惊喜——特别是AI的应用,简直令人惊喜!Amazing!
共聚焦显微镜面市已超过25年,技术上还会有什么令人惊喜、眼前一亮的进步吗?当然有。6月25日尼康在北京举行的AX|AX R第十代激光共聚焦显微成像系统的新品发布会就引起了格外关注——为什么?!因为新品的创新之处真的令人眼前一亮啊!
谁用谁知道。资深用户的需求和痛点,往往就是新品创新的方向标,也可视为是今时今日选择共聚焦显微镜应该关注的重点。对共聚焦用户的调查显示,最集中的呼声简而言之就是:提高画质,简化操作。提高图像画质,包含:拓宽视野以支持大型标本;提高采集图像分辨率和信噪比;提高成像速度,尽量减少激光对样本的损伤。而今天的简化操作需求,就不仅仅是简单的自动化,而是更高级的能深度学习的人工智能应用。新推出的尼康AX|AX R第十代激光共聚焦显微成像系统在硬件和软件的创新都非常令人惊喜——特别是AI的应用,简直令人惊喜!Amazing!
25mm大视野成像:同一样品,尼康给您更多信息
过去常规共聚焦显微镜视野是18mm(对角线),普通荧光显微镜成像视野是22mm,而尼康新品AX/AX R系列的成像视野对角线达到25mm——在正置和倒置显微镜、在检流计成像模式和共振成像模式下都能达到完美匹配,成像面积比18mm成像面积大一倍。对于做大型标本的研究人员来说这个大视野成像非常有用:现场有研究者表示过去做胚胎从未拿到过40倍物镜一次拍摄的结果——20倍物镜拍摄图像不够清晰,40倍物镜拍摄要2x2拼图,标本在接缝地方,照射两次会有淬灭,所以接缝地方很明显,着实苦恼,直到改用25mm成像视野后才可以用40倍物镜一次拍摄整个胚胎,而且图像质量更高,成像时间更短。由此可以看出,如果要做较大型样本的成像,尼康的大视野成像是一个值得关注的优势。要关注研究目标与周围环境相互关系的也很适合——以前只看到目标,现在还可以顺便观察周围,同一样品,更多信息。
图注:单一视野下,2天的斑马鱼胚胎巨噬细胞运动追踪图像,4x物镜
分辨率更高:尼康给您更多细节
要发表前沿的研究成果,就需要看到更多的细节,利用技术突破去尝试新的应用,收集到可靠度更高的数据。研究人员对高分辨率、高内涵和高速成像的追求可能是永无止境的。The more, the better!
尼康AX系列检流计成像模式的扫描分辨率水平从4K×4K扩展到8K×8K。25mm视场结合高达8192×8192像素的扫描分辨率,可实现在低倍物镜下(1x或2x)带有超微细节的、完整的大型样本高分辨图像——比如小鼠膀胱或者大脑的完整图像,且能满足Nyquist高频采样定理要求。在高速共振扫描模式下AX系列的扫描分辨率提升到2K×2K的水平。
图注:透明化小鼠膀胱样品,2x Plan Apo 物镜8K x 8K像素获取。
利用尼康NIS-Elements ER模块扩展分辨率,可将共聚焦成像的空间分辨率在XY方向上提高到120 nm (横向),Z轴方向上提高到300nm(轴向)。
成像速度更快,尽量减少激光对样品损伤
激光扫描共聚焦在成像时由于使用极高光密度的点照明并需要逐点扫描照射样品,在高分辨率下进行高质量三维成像极为耗时,而且对样品具有较高的光毒性。因此对活标本我们更关心的是它的成像速度。尼康AX R的高速共振扫描模式下的扫描分辨率水平提升到2048×2048像素,而且采集时间缩短——25mm视野全画幅(成像面积比18mm大一倍)下仍可实现极高的成像速度(2K×2K分辨率可以达到每秒7.5帧,2048×16像素分辨率下,帧率达720 fps,支持多种成像模式)。举个例子感受下,使用2048×2048像素的共振扫描和25mm的FOV,采集25张大肠样本的高分辨率图像,可在2分钟之内完成拍摄。
由于更高的采样速度,相比常规扫描,尼康AX系列照明时间缩短了20多倍,因此光毒性得到了显著降低,这使得活样品可获得更长的存活时间,并可进行更高频次的数据采集,意味着能够捕获存活样本的动态事件以及更长时程变化。以一个果蝇胚胎的长时程成像为例,25x硅油物镜,每10分钟拍摄一次,拍摄可长达12个小时。在高速扫描模式做3D成像时,同样可以实现一键切换扫描振镜,改用检流计的8K成像对某个感兴趣的局部做高分辨成像,保证成像视野完全对齐,可实现从整体成像到局部高分辨精细成像的转换,满足对整体和局部的双重要求。在检流计扫描振镜高分辨率模式下,25mm视野全画幅的成像速度也到了每秒2帧的水平(是成像面积大一倍的情况下啊),在固定标本上同样能够实现更快的采集速度。
探测器灵敏度提升,配置灵活
对活体标本除了关心速度,还会关心灵敏度——比较弱的荧光信号是否能采集到?所以高灵敏度的检测器就很重要。灵敏度的提高首先表现在降低背景噪音。尼康AX新款的DUX-VB检测器可根据标记和染料数据调整采集波段,并能自由地精细调整,可完美匹配染料,从而尽量减少多余波段荧光(而且操作很智能),相比老款A1的GaAsP检测器背景噪音降一半,而信号采集的量子效率提升2倍,因而信噪比就可以提升到原来的2倍。在相同的信噪比的水平上,AX需要做的平均数更少,对标本的损伤也更少,画面更流畅。
尼康AX系统的检测器有两种配置,一种是标准配置,一种是光谱模式。多达4个通道,可以选灵敏度高、噪音低的GaAsP PMT检测器或MA-PMT检测器,采集多达66个发射通道的高光谱图像,并可用于光谱拆分功能。AX/AX R基础型DUX-ST检测器可以使用12个带通滤片,并可进一步升级到18个。配置均可灵活选择以契合对灵敏度、波长响应要求及预算不同的实验室要求。
成像的核心:物镜还是尼康的好
选择合适的物镜,比如说油镜的NA值比较高,景深比较小,适合看5-10μm的薄标本,提高分辨率水平;水镜适合30μm的厚标本,可带自动补水的装置以适合长时程的水镜拍摄需求。适合超过30μm以上的厚组织样品的硅油物镜,它的折射率更接近于这种厚标本的折射率。还有合适透明化标本的多介质物镜,详细的物镜信息可以参考尼康官网。https://www.microscope.healthcare.nikon.com/zh_CN/products/optics
深度学习能力:尼康AI在共聚焦显微图像的应用
一些研究者喜欢想方设法对显微镜进行改造,以适应自己的个性化需求。而有些研究者则对显微镜到底是如何工作的根本不感兴趣,只求简便快捷拿到满意图像继续研究,不耽搁时间。对于后者而言,具有深度学习功能的人工智能(AI)在共聚焦显微镜的应用绝对合他们胃口——能从繁琐的参数优化调试和图像处理中解救出宝贵的时间。有意思的是,来自麻省理工学院(MIT)的Marvin L. Minsky (1927–2016) 是人工智能之父,同时他也是点扫描共聚焦显微成像技术的发明人。人工智能在共聚焦显微图像的应用似乎有某种必然性。
如何快速获得满意图像?
能简便快速地获得满意的图像,对于那些不想耗费时间在研究各种仪器操作上的研究人员来说,真是“求之不得”。要知道以往要获取共聚焦图像的常见场景是:调整激光强度,调整增益,几个通道都要分别的调整;而调整的过程中经常会发生图像过曝,这时候需要降低参数——稍微调过头,又会出现曝光不足,然后再调整参数;做ZOOM之后觉得参数不太对了,还得重新调整参数。来来回回终于觉得参数调到理想时,标本已经淬灭捕捉不到了。呜呼!一口老血强咽下去,换标本,重来。如琢如磨、如诗如歌?是如“折”如磨,如“撕”如“割”吧!拿到图像后也还需要花大量时间进行各种图像处理和分析——这等繁琐过程如果用尼康新品AX系列就能一键搞定,就问你惊不惊喜?
为此,尼康在共聚焦显微镜领域引入了能够深度学习的人工智能模块。Nikon AX系列提供6个AI模块—— 1个针对拍摄过程的AutoSignal.ai模块,2个针对图像处理的AI模块,和3个开放式AI模块—— 一键解决各种烦恼,专治各种不服。以AutoSignal.ai为例,通过深度学习尼康10多年来累积的各种场景拍摄经验、反复训练出的AI模块能够根据场景自动给出推荐的照明和检测设置参数的建议,免却过去要不断手动试错才能确定合适设置的烦扰,扫描活细胞时更能够同时避免对样本不必要的过度照射。有了这个AI模块,即使是新手,拿上稀有样品,也能一键获得合理拍摄方案——不用再纠结激光强度设多少,Gain设多少,一键获得满意设置——这爽啊!
拿到图像后我们还需要花大量时间进行图像处理。散粒噪声是共聚焦成像的主要噪声源。尼康AX系列提供的Denoise.ai模块能够消除共聚焦图像中的散粒噪声成分,提高画质并助力后续的图像识别工作。这个模块主要是基于AX共振扫描图像进行深度学习——即通过大量的共振扫描图像和信噪比更高的图像去做对比,学习共振拍摄时的噪声模式,从而能够从原始图像里面把这种噪声信号去掉,获得信噪比高的图像。这是一个非常有用的功能,因为共振扫描成像速度快,每个像素对应的激光照射时间都在纳秒级——非常短,大家多多少少会感觉共振图像的信噪比相对较低,用尼康Denoise.ai模块对共振方式拍完图像进行一键处理,即可得到信噪比更好的图像结果。那么AI降噪处理过的图像能不能做定量分析呢?一组用户数据测试表明,AI处理过的荧光强度随时间变化曲线相当接近原始数据,相比滚动平均(动态曲线常用的降噪方法)更接近原始数据,对于定量分析更有参考价值。还可以将共振扫描拍摄扩展到z轴,获得3D动画。嗯,还有个惊喜,这个AI模块是免费的。
图注:图像降噪处理结果评估——上图中是原始共聚焦图像和AI降噪图像,并且都叠加上了一条强度轮廓线,沿该线统计像素强度,结果见下图:降噪处理后(黄线)维持了原有强度,但原始图像中可见的散粒噪音方差(蓝线)被消除。图像:微管,60x。
尼康AX系列提供的另一个针对图像处理的Clarify. ai模块, 主要是在某些必须用宽场荧光拍摄的情况下,能够去掉焦外的模糊像,使图像更清楚,获得一种近似confocal的清晰效果。用体视镜下拍摄的图片很难用传统的变焦方法使之变得更清楚,而用Clarify.ai处理过后原始图像上模糊的血管就可以清晰地显示出来。
上述的3个AI模块是已经用尼康丰富的数据进行深度学习训练后可以直接使用的封闭模块。另外3个针对图像处理和分析过程的AI模块更有意思,是开放性的,经过使用者训练可以适用于自己实验室中的各种品牌的相机、各种类型的显微镜(适合轻度设备改装爱好者)。开放性意味着兼收并蓄,不用担心实验室原有成像设备是否兼容,当然也就意味着需要根据自己的环境去训练AI。
以针对提高信噪比的尼康Enhance.ai模块为例,跟前面的Denoise.ai主要区别在于一个是已根据共振图像训练好且不能修改,而Enhance.ai则可以按个性需求和配置进行训练,短则几个小时,长则一天,训练好以后就可以实现一键“自定义美图”,提高图像信噪比。非常实用。
尼康AX系列提供的第5个Convert.ai应用则非常“投机取巧”,这个主要用于活细胞拍摄场景的模块,训练的过程首先需要用荧光标记细胞核的细胞样本在两种通道上拍摄,一种是荧光通道,另一种透射光通道,相差或者DIC都可以,将透射光拍摄数据作为原始数据(source channel),荧光通道数据(标记细胞核)作为目标数据完成对AI模块的训练。以后,再拍摄明场图像比如相差图像,通过这个AI模块处理即可推算出细胞核图像,而不需要再用荧光标记细胞核了。这样既可以避免荧光标记对细胞活性的影响,也可以避免长时间拍摄会出现的荧光漂白问题,把根据透射光图像对细胞计数这种困难操作变得so easy。
6个AI模块中尤其能体现节省时间和效率的是第6个Segment.ai。该模块是在分析图像过程利用AI在图像中识别目标。通过简单的训练告诉AI图像中哪个是目标,就可以实现让AI自动从图像中识别目标——对于动态分析中可能多达几百张图,如果用传统方法分析可能耗费数小时进行识别,而训练好的Segment.ai只需数秒即可完成。比如要跟踪线虫头部运动轨迹,原本需要用原始图像生成模板,选出目标,处理细节,求出骨架和头尾两个端点,得到头尾两条轨迹再把尾轨迹去掉,这还不算部分图像不适用模板时需要另行处理。而有了Segment.ai,通过10张图片训练AI识别出图像中的线虫头部,就可以让它自动找出每张图像中线虫头部并得到所需的轨迹图。减少了重复劳动,真省事啊!
技术的进步,妙就妙在能让我们更快、更轻松地获得更多精细的细节和更多有用信息。探索生命奥秘之路上有了尼康AX系列这样的研究利器,我们一定能走得更深入,更远,更快人一步。