Learning and Incorporating Shape Models for Semantic Segmentation文章理解

   FCN方法不一定包含局部几何信息，如平滑度和形状等，而传统的图像分析技术他们在解决细分和跟踪方面具有很大的优势。在这项工作中，我们通过将形状信息加入FCN分割框架从而解决FCN的缺点。同时在实验阶段，验证了这种形状信息对于处理对比度和artifacts的细节损失具有很好的效果。

1
引言

 
由于FCN对于局部几何如平滑度和拓扑结构不能可靠地捕获。在传统方法的驱动下，我们建议用先验形状信息来加强FCN框架。在形状模型解耦后，数据扩充策略是相对容易了，数据扩充之后，训练数据中增加各种形状类别，同时模型便于捕获这种形状多变特征。



总之，本文的主要贡献如下：

（1）学习非线性形状模型和任意掩模的投影形状manifold空间。我们还讨论了两个新的数据增加策略来实现形状卷积自动编码器。

（2）将形状模型明确地并入FCN新的损失函数中，依靠已学习的形状模型来惩罚预测分割的deviation。

（3）提出的方法dice overlap增加了5%，而随之带来的复杂度可忽略不计。

2
相关工作





   在我们的工作中，我们通过两个CNN的级联来 accomplish
shape-prior influenced segmentation。我们工作的主要区别如下：

（1）将形状正则化优雅地结合进FCN模型中，而不是作为在概率图谱。所提出的方法的动机是FCN的输出可能不在目标真实形状的manifold内，因此需要将其投射到正确的manifold中。该投影由自动编码器（AE）实现，并且它隐含地在训练阶段提供了形状先验信息。在测试期间，分割结果将直接从FCN的输出获得。（2）实现了可以附加到其他几何或拓扑先验的一般公式（3）使用简单网络实现形状正则化，同时网络被训练以两个有趣的数据增强策略。 

3
我们的方法

 
标准FCN的代价函数形式为：


 
本文的工作就是在上述代价函数的基础上加入形状先验信息，尽管对于一个分割掩模的形状信息有许多线性和非线性的表示，本文选择易集成到FCN中条件自编码器CAE来提取这种形状先验信息。 



   这里将由训练样本的标签掩模Sk定义的有效形状的潜在形状空间定义为M;假设我们能够学习一个p维形状投影（编码器）E和（解码器）R，注意为了能够插入到分割框架中，投影E应该能够采用任意的形状S并将其投影到形状特征空间M上的一个有效的特征表示。因此，具有解码器R的组合，即（R◦E）[S]是S在M上有效形状的投影；可以看到R◦E在卷积去噪自动编码器（CDAE）[8]中扮演重要的角色，在其中包含分割损失函数。基于此，加入形状先验信息的代价函数可用1式来表达：



其中，第一项通过最小化映射投影误差驱动预测掩模形状Sk靠近形状空间M；第二个项通过最小化标签掩模和预测掩模编码表示的欧氏距离；最后一项试图从已学习的形状空间M中保留真实标签掩模形状的变动特征。在诸如U-Net等FCN的网络中，由于损失函数是基于欧氏距离的，网络参数必须预测从输入图像到高维度形状的复杂变换。因此，本质上需要足够的代表性的训练数据才能捕获目标外观，形状和上下文信息间的相互作用关系。在提出的方法，网络复杂性的很大一部分是由有自动编码器承担的，因为预测形状Sk和真实标签间的距离是基于编码特征表示进行的，正如（图1）所示。



4
架构



 
对于本文模型公式1的实现，作者通过建立一个级联的两个FCNs，其中一个用于输入图像的目标分割，另一个用于预测目标掩模形状的约束，将其约束在训练标签表示的形状空间M中，具体的框架如图2所示。

4.1
分割网络

分割网络采用常规U-net架构



4.2形状规整网络

   这个网络的目标被执行在一个不完全的分割形状掩模上，并且强迫这些分割的掩模遵循训练标签掩模的形状。我们提出了一个卷积编码器实现自动分割掩模形状的规整，如图3b所示，这个形状规整网络包含形状编码和解码块，它通过利用卷积和非线性映射组成的模块映射（投影）分割掩模的不完全形状到隐层特征表示。我们假设编码器将提供一个简洁、紧凑的隐层空间表示，它不会因输入形状的误差影响，从而块解码器可以准确地重建完全的形状。



 
网络的信息流动如图2所示，从编码器和重建层的输出将影响公式1的前两项，而分割网络的输出直接作用于公式1第三项；形状规整网络在加入噪声形状的数据上预训练，而后送入级联的架构，通过公式1训练级联的网络。

4.3
完成细节

   分割网络有卷积和上下采样层组成，总共14*10_16的参数，而形状规整网络采用简化的卷积编码器，大概12*10_3的参数，所以相对U-net，网络的复杂度基本只增加了1%。

4.4
形状规整网络的数据扩充

 
对于形状规整化网络，它需要被训练以不精确的形状作为输入，而真实的标签形状作为输出。因此，本文采用两种策略创建这些不完全的形状：



  

（a）随机腐蚀形状：采用较大但是随机平均强度的核腐蚀和并且将该腐蚀核在随机种子点位置围绕形状滑动腐蚀。这样重复多次，创建多个实例样本，形状如图4A所示。

（b）间接的U-net预测:我们采样U-net在经过在训练样本上不同次数的迭代之后，该网络对输入的预测作为形状网络的输入。这个想法是使CAE learn to complete the failure modes of U-Net。

5-6 B超图像中肾的分割和结果

 
数据集采用231例B超图像，其中100例用于训练，131例用于测试。



   其中SR-UNet1和SR-UNet2分别为采用噪声数据增强策略1和2初始化形状规整网络的权重。

7
讨论

   当将形状先验信息纳入神经网络的训练损失函数时，可以显着改善预测结果，如我们的U / S肾分割实验显示，虽然有些情况真的很有挑战性，但我们觉得我们的贡献是在临床环境中使用FCN的重要一步，产生有意义和可解释的输出。另外，扩展形状先验到3D分割是我们的方法中的一个简单的任务。虽然我们使用卷积自动编码器获得形状先验信息，然而可替代的方法如Boltzmann机器，线形字典等也可以被探索使用。此外，形状只是解剖对象的几何属性之一，此外还有可以嵌入更有意义的先验（例如，纹理，大小等）到训练目标中，实现神经网络的鲁棒性和稳定性。