【那些年我们一起看过的论文】之《Fully Convolutional Networks for Semantic Segmentation》

/*

FCN算是开创性的一篇卷积神经网络的论文了，引用量不计其数。核心在于把原来CNN的全连接层变成卷积层，就全卷积每一层画风一致了。其他的残余网络、带洞的网络什么的略有耳闻，后补。因为经典，所以多码点字，火钳刘明。

*/

FCN可以基于若干种种结构(VGGNet, AlexNet, SIFT-Flow)，基于VGGNet的FCN-32/16/8s效果最好。

参考代码：https://github.com/shelhamer/fcn.berkeleyvision.org

卷积网络是产生特征层次结构的强大视觉模型

FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。

FCN与CNN的区域在把于CNN最后的全连接层换成卷积层，输出的是一张已经Label好的图片。从图像级别的分类延伸到像素级别的分类。

传统的子采样会缩小图片尺寸，但是这样就达不到像素级别的分类与预测了，所以可以将CNN后面的三个全连接层转换成卷积层。



————————–图1————————–

Q：为什么全卷积网络可以输入任意size的图片？

A：因为卷积层可以通过划窗卷积得到特征地图，而全连接层权值数固定决定了输出与输入size固定。

通过卷积->反卷积（插值法） 可以得到像素级别的预测，（每个像素都得到分类结果）似乎完成了目标。但是实验表明分割效果比较粗糙，一定是中间层的信息在传递中丢失了。因此考虑fusion prediction，就是将中间的层与最后对应的输出结果做融合，见图2.



————————图2————————-

参考博客：

http://www.cnblogs.com/gujianhan/p/6030639.html

http://blog.csdn.net/xg123321123/article/details/53092154

参考博客的参考链接：

https://zhuanlan.zhihu.com/p/22976342

代码实践将会参考：

http://blog.csdn.net/gavin__zhou/article/details/52142696

Semantic segmentation faces an inherent tension between semantics and location: global information resolves what while local information resolves where.图2也是体现了局部信息与全局信息结合，补充与优化粗糙的分割结果。文中也提到了另外两种fine-turning的方法，但是不如这个融合layer的方法好。

后文描述的主要是算法在不同的测试集上的对比与展示，各个参数上state-of-art的可视化结果，不再累述。

只言片语 随手摘录

以上。