[Paper 学习笔记] Effcient Multi-Scale 3D CNN with fully connected CRF for Brain Lesion Segmentation

上一篇介绍了用于简单提取2D图像特征的方法，手头项目的数据却是3D图像，希望这一篇能给我一些新的思路。

http://blog.csdn.net/sinat_31824577/article/details/51775329

一、简介

提出一个双路径，11层的用于脑损伤图像分割的3D卷积神经网络。将并联的图像Patch合并可降低计算3D脑图像的计算复杂度、消除数据中的类内不平衡。为了试用局部和更大的内容信息，用一个双路径结构在多尺度上并行处理输入图像。为了预处理网络的软分割，用3D全连接条件随机场消除错误位置。在脑外伤、肿瘤和缺血性中风的数据集上测试本方法都表现出强有力的效果。

二、方法

本方法主要有两个主要部分构成：

3D CNN：产生高的准确率、软分割映射

全连接的3D CRF：强调CNN的输出调节限制，产生最后的硬分割label。

1.用于密集分割的3D CNNs——设置Baseline

CNNs通过独立分类每个像素点和它的领域，产生三维像素分割类别的估计。多层级联多filters连续对输入卷积来实现。

每一层l：[1,L]包含Cl个FM(Feature maps)，每个FM是一组检测一个特定pattern的神经元，pattern 与FM的核权重相关。

每一层的输出关系：



其中

K为3D核系数，是由W隐藏权重组成的一个矩阵

b为偏置

f为非线性映射

y0为原始的输入3D MRI扫描图

m为FM序号

l为层序号

最后一层的输出和分割的类标相关，因此神经元可分为CL个组，每个组用于该类的分割，

为对于每个类c，形成软分割映射的概率，

是第c类FM在位置x的输出。



三维像素的邻域大小跟随层数递增



尺寸更大表示着对FMs更大幅度地降采样，不利于准确分割。

因此，在本系统

，接受层有

网络输出中心像素的单点预测。

输入尺寸与第l层的FMs维度关系如下



如果GPU的内存有限计算不了许多FMs需要缓存的大型3D网络，体可以平铺成多个图像分割片来计算。

使用常用的CNN训练Patch的方法，随机从训练图像中选择patches组成大小为B的批次，用随机梯度下降法（SGD）https://en.wikipedia.org/wiki/Stochastic_gradient_descent进行批处理：

即改变参数theta，权重和偏置，使得损失函数的互熵最小



pair(Ii,ci)表示这一批中第i个patch和中心像素的正确label，标量Pci表示属于类Ci的预测概率，Regularization项在此简化略去。经过多个批次优化之后会使得结果收敛。

2、基于图像分割和类平衡的密集训练

训练批的尺寸越大，越接近正确的梯度结果更准确，但是计算量和内存要求也会增大。

提出的对策方案：



用多个像素组合计算



随着因子V的增大，上式中的有效批尺寸变大，但是计算复杂度和内存不会增大。

（此方法不适用大规模的3D CNNs和独立训练patchs的训练。）

通常我们通过提取训练图像中50%概率的中间像素的分割片建立训练批来消除类不平衡。在一个分割片中的预测点集V不需要完全来自相同的类。

3.建立更深的网络

考虑计算复杂度和内存需要，我们仅使用包含比较少的参数和便于收敛的3^3核系数。下图所示表明用多层小核设计网络更为方便有效。



然而，更深的网络相比较而言更难训练。

原因：1.前向或后向传递导致方差爆炸式增长或消失。

采纳ReLu-based networks的方案，初始化核权重使得采样服从正态分布


2. 内联变量转移，阻碍权重的收敛。信号的变化随着迭代次数的增加被放大。

为解决这些问题，在所有的隐藏层采用Batch Normalisation(BN)技术，在每一步FM优化输出进行归一化。

4.并行卷积途径多尺度处理

使用pooling方法可降低计算复杂度和内存消耗，但会导致空间不变性，不利于对特征的分割。

为了可以用3DCNN获得局部信息和大容量信息，考虑增加一个途径来操作降采样的图。如下图所示，更高层次的特征如大脑位置在第二个途径提取，局部的细节特征在第一个提取，调节降采样因子FD可获得任意的大的内容。两个途径的尺寸可根据要求独立调节。



此方法可独立提取任意分辨率的特征，同时避免载入3D图像时内存负荷过大。

5.用于结构性预测的3D全连接CRF

引进一个3D全连接CRF做预处理，用于消除噪声和训练中的局部最小引起的假性输出。CRF能够对任意大的三维像素邻域集建模，为了处理3D图像，使用两个高斯核。

三、网络评价

论文分别给出了迭代次数、训练集数量与准确率和DSC(Dice similarity coecient)的关系。同时与其他结构的网络进行了比较分析。

四、结论

论文提出的用于自动脑损伤分割的3D CNN结构有如下特点：

- 大大降低计算复杂度

- 有效地消除分割存在的类内不平衡

- 使用小尺寸卷积核便于建立更深的网络：有更强的辨别能力，可避免多参数导致过拟合

- 提出应用并行的卷积路径来处理大尺寸的图像内容

- 首次将CRF的思想应用在预处理3D图像上

Reference

https://biomedia.doc.ic.ac.uk/software/deepmedic/