通过深度学习使脑图像去毛刺

 
教科书中对脑细胞的描述使神经元看起来很简单：长脊柱状的中央轴突，带有分支的树突。单独考虑，这些可能很容易识别和绘制，但在实际的大脑中，它们更像一堆棘手的章鱼，数百条肢体缠绕在一起。这使得了解它们的行为方式和相互作用对神经科学家来说是一个重大挑战。
研究人员解开我们的神经混乱的一种方法是通过显微成像。通过拍摄大脑非常薄的层的照片并以三维形式对其进行重构，可以确定结构在哪里以及它们之间的关系。
但这带来了自己的挑战。获取高分辨率图像并快速捕获以覆盖大脑的合理区域是一项主要任务。
问题的一部分在于任何摄影师都熟悉的权衡和折衷。打开光圈足够长的时间以允许大量的光线进入，任何运动都会造成模糊;快速拍摄图像以避免模糊，被摄对象可能会变暗。
但是其他问题是大脑重建所使用的方法所特有的。首先，高分辨率的大脑成像需要花费很长时间。另外，在被称为串行块面电子显微镜的广泛使用的技术中，将一块组织切成块，将其表面成像，切下一个薄片，然后对该块再次成像。重复该过程直到完成。但是，产生微观图像的电子束实际上会导致样品熔化，从而扭曲其试图捕获的物体。
圣地亚哥Salk生物研究所Waitt先进生物光子学核心设施的负责人Uri Manor负责运行全国各地研究人员使用的许多高倍显微镜。他还负责识别和部署新显微镜并开发解决方案，以解决当今技术所遇到的问题。
“如果有人遇到问题而我们的仪器无法解决问题，或者我们找不到能够解决的问题，那么开发这种能力是我的工作，” Manor说。
意识到神经科学家面临的成像问题，他认为有必要采用一种新方法。 Manor认为，如果他达到了显微镜的物理极限，也许更好的软件和算法可以提供解决方案。
Manor说：“已经研究了数十种复杂的数学和计算方法，以消除噪声而不消除信号。” “那是我开始的地方。”
他们与Salk的图像分析专家Linjing Fang合作，制定了使用GPU(图形处理单元)来加速显微图像处理的策略。
他们从一个叫做反卷积的图像处理技巧开始，该技巧部分由John Sedat开发，John Sedat是Manor的科学英雄之一，也是Salk的导师。天文学家使用这种方法来解析恒星和行星的图像，其分辨率比直接从望远镜中获得的分辨率更高。
他解释说：“如果您知道系统的光学特性，则可以对图像进行模糊处理，并获得原始图像两倍的分辨率。”
他们认为，深度学习(一种使用多层分析从原始输入中逐步提取高级功能的机器学习形式)对于提高显微镜图像的分辨率(称为超分辨率)非常有用。
MRI，卫星图像和照片都作为测试用例，用于开发基于深度学习的超分辨率方法，但是在显微镜检查中却很少做。庄园认为，也许用显微镜也可以做到。
训练深度学习系统的第一步涉及找到大量数据。为此，Manor与得克萨斯大学奥斯汀分校的神经科学教授，脑显微术的领先专家之一克里斯汀·哈里斯(Kristen Harris)合作。
曼诺说：“她的实验方案在世界范围内都使用。在凉爽之前，她一直在做开放科学。” “她获得了难以置信的详细图像，并且已经与Salk合作了很多年。”
哈里斯向Manor提供了训练所需的大量数据。然后，他使用德克萨斯州高级计算中心(TACC)的Maverick超级计算机并进行了连续几天的计算，创建了高分辨率显微镜图像的低分辨率类似物，并在这些图像对上训练了深度学习网络。
曼诺说：“ TACC的帮助非常有用。” “他们为我们提供了硬件，可以在头发脱落之前进行培训，并为我们提供了计算专业知识，甚至还帮助我们进行了计算实验来微调我们的过程。”
不幸的是，Manor首次尝试创建低分辨率图像的超分辨率版本是失败的。 “当我们试图在实际的低分辨率数据上测试系统时，该数据比我们的低分辨率训练数据要嘈杂得多，因此网络的运行情况并不理想。”
当fast.ai的创始人Jeremy Howard和来自Wicklow AI Medical Research Initiative(WAMRI.ai)的Fred Monroe来到Salk寻找可以从深度学习中受益的研究问题时，Manor再次感到幸运。
“他们对我们的工作感到兴奋。这对于他们的深度学习方法以及他们希望将深度学习带入新领域的理想选择。” Manor回忆道。 “我们开始使用他们已经建立的一些技巧，包括cr脚。”
在开会时，Manor和Fang一直在通过计算降低训练对图像的分辨率，但他们仍然不够cr脚。他们还使用一种称为生成对抗网络(GAN)的深度学习架构。
他回忆说：“他们建议在计算上增加更多的噪声。” “’使图像模糊不清，并发出各种杂音，使图像显得非常cr脚。”他们建立了瑕疵库，我们对图像进行了折皱处理，直到它看起来更像甚至比您在世界上获得低分辨率图像时看起来更糟，而且还帮助我们从GAN转到了U-网络体系结构，它更容易训练，并且在消除噪声方面更好。”
Manor使用新的图像对和深度学习架构重新训练了他的AI系统，并发现它可以创建与最初以更大的放大倍率创建的图像非常相似的高分辨率图像。而且，训练有素的专家能够在原始版本中无法检测到的低分辨率样品的残废版本中找到脑细胞特征。
最后，他们将他们的系统进行了真实的测试：将该方法应用于在其他实验室中使用不同的显微镜和制剂制作的图像。
“通常，在深度学习中，您必须为不同的数据集重新训练和微调模型，” Manor说。 “但是我们很高兴我们的系统对于各种各样的样本和图像集运行良好。”
这一成功意味着可以对样品进行成像而不会造成损坏的风险，并且样品的获取速度至少是传统方法的16倍。
“以全分辨率对整个大脑成像可能需要一百多年的时间，” Manor解释说。 “总体上增长16倍，它可能会变成10年，这要实际得多。”
该小组在Biorxiv上发布了他们的结果，在F8 Facebook开发者大会和第二届NSF NeuroNex 3DEM Workshop上进行了介绍，并通​​过GitHub提供了代码。
“这种方法不仅有效。而且我们的培训模型也可以立即使用，” Manor说。 “它非常快速且容易。任何想要使用此工具的人都将很快能够登录3DEM.org(基于Web的研究平台，该平台致力于开发和传播用于增强分辨率3维电子显微镜的新技术，并得到了国家科学基金会]，并通过它来运行他们的数据。”
哈里斯说：“ Uri确实通过深度学习来树立这种改善图像的想法。” “最终，我们希望我们不会有任何糟糕的图像。但是现在，许多图像都存在这个问题，因此将有一些地方需要根据相邻部分中的内容来填充孔。”
Manor希望开发可以即时进行重建的软件，以便研究人员可以立即看到超分辨率图像，而不是在后处理过程中。他还看到了改善世界各地实验室已经拥有的数百万个显微镜的性能以及从头开始构建利用AI功能的全新显微镜的潜力。
“价格便宜，分辨率更高，速度更快-我们可以改进很多领域。”
通过概念验证，Manor和他的团队开发了一种工具，可以促进整个神经科学领域的发展。但是，如果没有与克里斯汀·哈里斯(Kristen Harris)，霍华德(Howard)和门罗(Monroe)以及TACC的偶然合作，它可能永远不会实现。
曼诺说：“这是如何真正实现科学进步的一个美丽例子。您需要让专家敞开心from，与来自世界各地的人们一起努力，以实现某事。” “我感到非常幸运，能够与所有这些世界一流的队友进行交流。”