由于左(Raw)图像中的信噪比(S NR)非常低，细胞外线粒体膜的图像很难看到。使用高功率，可以获得更清晰的图像(称为地面真相或GT图像)。最右边是RCAN网络创建的图像，它显示了原始图像，并预测了更清晰的图像。比例尺= 5微米。信用:陈继基。荧光成像利用激光获得细胞甚至亚细胞结构的明亮、详细的图像。然而，如果你想观察一个活细胞在做什么，比如分裂成两个细胞，激光可能会油炸它并杀死它。一个答案是使用更少的光，这样细胞就不会被破坏，并能继续其各种细胞过程。但是，在如此低的光线水平下，显微镜检测不到多少信号。这是一个微弱的，模糊的混乱。在《自然方法》6月刊上发表的一项新研究中，一组显微镜学家和计算机科学家使用一种叫做神经网络的人工智能，即使在极低的、对细胞友好的光照水平下，也能获得工作细胞的更清晰的图像。
该团队由美国国家生物医学成像和生物工程研究所高级研究员Hari Shroff博士和美国国立卫生研究院高级成像和显微设备研究所的陈继基博士领导，他们称这一过程为“图像恢复”该方法解决了造成微光模糊图像的两种现象——低信噪比和低分辨率。为了解决这个问题，他们训练了一个神经网络去噪和模糊图像去模糊。
那么到底什么是训练神经网络呢？它包括向计算机程序显示许多匹配的图像对。这对由清晰、清晰的细胞线粒体图像和模糊、不可识别的线粒体图像组成。神经网络显示了许多匹配的集合，因此“学会”预测模糊的图像如果被锐化会是什么样子。因此，神经网络变得能够拍摄使用弱光水平创建的模糊图像，并将它们转换成科学家研究细胞中发生的事情所需的更清晰、更详细的图像。
为了对3D荧光显微图像进行去噪和去模糊处理，Shroff、Chen和他们的同事与一家名为SVision(现在是的一部分)的公司合作，改进了一种特殊的神经网络，称为剩余通道注意网络(残差通道注意网络，简称)。
用衍射受限共焦显微镜(左)生成的核孔图像模糊。使用超分辨率显微镜，核孔被更好地分辨(GT，地面真实图像)。在最右边，RCAN网络显示了模糊的共焦图像，并预测了清晰的图像，这更像高分辨率的GT图像。比例尺= 5微米。功劳:陈继基特别是，研究人员专注于恢复“超分辨率”图像体积，之所以这么说，是因为它们揭示了组成细胞的微小部分的极其详细的图像。图像显示为三维块，旋转时可以从各个角度观看。
该团队在他们的实验室和国家卫生研究院的其他实验室使用显微镜获得了数千张图像。当他们获得用非常弱的照明光拍摄的图像时，细胞没有被损坏，但是图像非常嘈杂并且不可用——低信噪比。通过使用RCAN方法，图像被去噪以创建清晰、准确、可用的三维图像。
“我们能够通过使用人工智能从低信噪比图像中‘预测’高信噪比图像来‘击败’显微镜的局限性，”Shroff解释道。“超分辨率成像中的光损伤是一个主要问题，因此我们能够绕过它的事实意义重大。”在某些情况下，研究人员能够将空间分辨率比呈现给3D RCAN的噪声数据提高几倍。
这项研究的另一个目的是确定研究人员可以向RCAN网络呈现的图像有多混乱——挑战将一幅非常低分辨率的图像转化为可用的图像。在一次“极度模糊”的实验中，研究小组发现，在大范围的实验模糊中，RCAN不再能够破译它所看到的东西，并将其转化为可用的图像。
“有一件事让我特别自豪，那就是我们一直在推动这项技术，直到它‘坏掉’”什洛夫解释道。“我们对信噪比方案进行了连续描述，显示了RCAN失败的时间点，我们还确定了在RCAN无法逆转模糊之前图像会有多模糊。我们希望这有助于其他人为自己的图像恢复工作设定界限，并推动这一令人兴奋的领域的进一步发展。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
