40万亿像素?谷歌AI自动绘制果蝇的大脑图谱

谷歌最新的人工智能研究深入到了果蝇的大脑。

最近,谷歌发表了一项研究结果:“基于洪水填充网络和局部调整的EM果蝇大脑连续切片自动重建”( Automated Reconstruction of a Serial-Section EM Drosophila Brain with Flood-Filling Networks and Local Realignment),它探讨了整个果蝇大脑每个神经元的自动重建,由谷歌与霍华德?休斯医学研究所(HHMI)Janelia研究院和剑桥大学合作的。

参与这项研究的团队给一只果蝇的大脑细胞和突触注入重金属,用来标记每个神经元及其连接的轮廓。为了生成图像,他们用一束电子束轰击大约7062个大脑切片,然后电子束穿过了除含有重金属部分以外的所有物体。

图丨果蝇大脑图(来源:谷歌)

这篇最新论文的共同作者希望,他们在连接组学方面的工作,如连接组的制作和研究、生物体神经系统内连接的综合图谱等,能加速 HHMI 和剑桥大学对果蝇大脑中学习、记忆和感知的研究。本着开源的精神,他们使用内部交互式 3D 界面 Neuroglancer 提供了可供下载和浏览的完整结果。

果蝇并不是随意选取的目标。正如该论文的几位合著者在一篇博客文章中所指出,果蝇的大脑相对较小(10 万个神经元),与青蛙的大脑(超过 1000 万个神经元)、老鼠的大脑(1 亿个神经元)、章鱼的大脑(5 亿个神经元),以及人类的大脑(1000 亿个神经元)相比是最佳选择。这使得他们更容易做“完整的闭环”研究。

要绘制出一个果蝇的大脑,首先需要将它切成数千个 40 纳米的超薄切片,然后用透射电子显微镜对其成像,并将其排列成整个大脑的三维立体图像。接下来,成千上万的由谷歌定制的人工智能加速芯片——云张量处理单元(TPUs),运行一种被称为洪水填充网络(FFNs)特殊的算法,这种算法用于复杂和大型形状,特别是组织的立体数据集的分割。随着时间的推移,FFNs 会自动追踪果蝇大脑中的每个神经元。

然而重建工作并非一帆风顺。当连续切片中的图像内容不稳定或多个连续切片丢失时(切片和成像过程存在一定的挑战),FFNs 算法的性能就会很差。

为了减少精度和准确度的下降,研究小组估计了各个切片之间 3D 大脑图像的一致性,并在 FFNs 算法突出每个神经元的同时局部稳定了图像内容。此外,他们还使用了一种被称为分段增强 CycleGAN (SECGAN)的人工智能模型,来计算填补立体图像中缺失的部分,该模型专门用于分割的生成式对抗网络。有了这两种新方法,他们发现 FFNs 算法能够“更可靠地”追踪多个缺失切片的位置。

图丨40 万亿像素的果蝇大脑重建图。注:右下角为谷歌 AI 在 2016 年和 2018 年出版物中分析的较小的数据集。(来源:谷歌)

在对果蝇大脑完全成像的情况下,研究小组用前面提到的 Neuroglancer 解决了可视化的问题。

Neuroglancer 是开源的,目前被 Allen 脑科学研究所、哈佛大学、HHMI、马克斯普朗克研究所、麻省理工学院、普林斯顿大学以及其他地方的学者使用。另外,它基于 WebGL,并在最新版本的 Chrome 和 Firefox 中得到支持,目前它公开了一个由三个正交横断面视图组成的四窗格视图,以及一个显示选定对象的 3D 模型视图(具有独立的方向)。

除了能够查看 PB 级的 3D 立体之外,Nueroglancer 还支持诸如任意轴横断面重新排列、基于线段的模型、多分辨率网格以及通过与 Python 集成开发的自定义分析工作流等功能。此外,它能够通过 HTTP 以多种格式摄取数据。

论文的合著者指出,他们的大脑图像并不完美,仍然包含一些错误,并且跳过了对突触的识别。但他们预计,分割方法的进步将带来重建方面的进一步改进。他们还表示,他们正在与 Janelia 研究院的 FlyEM 团队合作,利用聚焦离子束扫描电子显微镜的技术获得图像,创建一个“高度验证的”、“详尽的”果蝇大脑连接体。