Geert Litjens ∗, Thijs Kooi , Babak Ehteshami Bejnordi , Arnaud Arindra Adiyoso Setio , Francesco Ciompi, Mohsen Ghafoorian, JeroenA.W.M. van der Laak, Bram van Ginneken, Clara I. Sánchez

Survey Paper
总结了所有医学图像分析中使用的深度学习算法
确定了最成功的的关键图像分析任务算法
总结了三百篇将深度学习应用于不同应用的论文

摘要

深度学习算法，特别是卷积网络，已迅速成为分析医学图像的首选方法。本文回顾了与医学图像分析相关的主要深度学习概念，总结了300多个对该领域的贡献，其中大部分都出现在去年（2016）。我们调查了深度学习在图像分类，对象检测、分割、匹配和其他任务中的使用。每个应用领域的研究提供简明概述：神经、视网膜、肺、数字病理、乳房、心脏、腹部、肌肉骨骼。最后，我们总结了当前最先进的技术，对未来研究的开放性挑战和方向进行了批判性讨论。

关键词：深度学习；卷积神经网络；医学影像；调查

1. 介绍

一旦可以将医学图像扫描并加载到计算机中，研究人员就可以构建自动分析系统。最初，从20世纪70年代到90年代，医学图像分析是通过顺序应用低级像素处理（边缘和线检测器滤波器、区域增长）和数学建模（拟合线、圆和椭圆）来构建复合规则的。解决特定任务的系统。有一种用专家系统来类比很多在同一时期的人工智能中很流行的if-then-else语句。这些专家系统被描述为GOFAI（良好的老式人工智能）并且通常很脆弱；类似于基于规则的图像处理系统。

在20世纪90年代末，使用训练数据开发系统的监督技术在医学图像分析中变得越来越流行。示例包括活动形状模型（用于分割），图谱方法（其中适合于新数据的地图集形成训练数据），以及特征提取和统计分类器的使用（用于计算机辅助检测和诊断）的概念。这种模式识别或机器学习方法仍然非常受欢迎，并且形成了许多成功的商业医学图像分析系统的基础。因此，我们已经看到从完全由人类设计的系统转变为由计算机训练的系统，使用从中提取特征向量的示例数据。计算机算法确定高维特征空间中的最佳决策边界。设计这种系统的关键步骤是从图像中提取判别特征。这个过程仍然由人类研究人员完成，因此，人们会谈到具有手工制作功能的系统。

合乎逻辑的下一步是让计算机学习最佳地表示手头问题数据的功能。该概念位于许多深度学习算法的基础上：由许多层组成的模型（网络），其将输入数据（例如图像）转换为输出（例如，存在/不存在的疾病），同时学习越来越高级的特征。迄今为止最成功的图像分析模型是卷积神经网络（CNN）。CNN包含许多层，这些层使用小范围的卷积滤波器来转换它们的输入。自七十年代末以来已经完成了CNN的工作（ Fukushima，1980），并且他们已经在1995年由Lo等人应用于医学图像分析。（1995年）。他们在LeNet（LeCun等，1998）中首次成功应用了手写数字识别的实际应用。尽管取得了这些初步的成功，但在开发各种新技术以有效地训练深度网络之前，CNN的使用并未获得动力，并且在核心计算系统方面取得了进展。分水岭是Krizhevsky等人的贡献。（2012）对2012 年12月的ImageNet挑战。提议的CNN，名为AlexNet，大幅度赢得了该竞争。在随后的几年中，使用相关但更深入的架构取得了进一步的进展（Russakovsky等，2014 ）。在计算机视觉，深度卷积网络中 现在已成为首选技术。

医学图像分析界已经注意到这些关键的发展。但是，从使用手工功能的系统过渡到从数据中学习功能的系统的过渡是渐进的。在AlexNet 取得突破之前，学习功能的许多不同技术都很受欢迎。Bengio等。（2013）提供了对这些技术的全面审查。它们包括主成分分析，聚类的图像块，词典的方法，等等。Bengio等。（2013）引入仅在审查结束时在题为全球深度模型培训的部分进行端到端培训的CNN。在本次调查中，我们特别关注这些深度模型，并且不包括已应用于医学图像的更传统的特征学习方法。有关深度学习在健康信息学中的应用的更广泛的评论，我们参考Ravi等人。（2017），简要介绍了医学图像分析。

深度学习在医学图像分析中的应用最初开始出现在研讨会和会议上，然后出现在期刊上。论文数量在2015年和2016年迅速增长。如图1所示。该主题现在在主要会议上占主导地位，并且2016年5月出现了IEEE 医学影像交易的第一个特刊（Greenspan等，2016）。
图1。本调查中包括的论文在出版年份，任务处理（第3节），成像模式和应用领域（第4节）中细分。2017年的论文数量是从1月份发表的论文中推断出来的。

Shen等人发表了一篇关于深度学习应用于医学图像分析的专门评论。（2017）。虽然它们涵盖了大量的工作，但我们认为该领域的重要领域没有代表。举一个例子，没有涉及视网膜图像分析的工作。我们审查的动机是从应用程序和方法驱动的角度全面概述（几乎）医学成像领域的所有领域。这还包括所有出版物的概览表，读者可以使用这些表来快速评估该领域。最后，我们利用自己在深度学习方法应用方面的经验进行医学图像分析，为读者提供专门的讨论部分，涵盖最新，开放的挑战以及未来将变得重要的研究方向和技术概述。

该调查包括300多篇论文，其中大部分是近期的，涉及医学图像分析中的各种深度学习应用。为了确定相关的贡献，PubMed被要求提供标题或摘要中包含（“卷积”或“深度学习”）的论文。搜索ArXiv的文件提到了与医学成像相关的一组术语之一。此外，根据论文标题搜索了MICCAI（包括研讨会），SPIE，ISBI和EMBC的会议记录。我们检查了所有选定论文中的参考文献并咨询了同事。我们排除了未报告医学图像数据结果或仅使用标准前馈的论文具有手工制作功能的神经网络。如果在多份出版物中报告了重叠工作，则只包括被认为最重要的出版物。我们希望搜索术语用于涵盖大多数（如果不是全部）包含深度学习方法的工作。所包含论文的最后更新时间是2017年2月1日。附录更详细地描述了搜索过程。

总结一下，通过这项调查，我们的目标是：
•
表明深度学习技术已渗透到整个医学图像分析领域;

•
确定成功应用深度学习到医学成像任务的挑战;

•
强调解决或规避这些挑战的具体贡献。

本调查的其余部分结构如下。在第2节中，我们介绍了用于医学图像分析的主要深度学习技术，并在整个调查中提到了这些技术。第3节描述了深度学习对医学图像分析中规范任务的贡献：分类，检测，分割，配准，检索，图像生成和增强。第4节讨论了不同应用领域的成果和开放性挑战：神经，眼科，肺部，数字病理学和细胞成像，乳房，心脏，腹部，肌肉骨骼和其他杂项应用。我们以摘要，批判性讨论和未来研究展望结束。

• 点赞
• 收藏
• 分享
• 文章举报