您的位置:首页 > 其它

论文笔记之Fully Convolutional Networks for Semantic Segmentation

2016-12-27 17:16 976 查看
最近了解到了Image Semantic Segmentation方面的知识,在此做一个记录。

这篇论文是2015cvpr的best paper,可以说是在cnn上做图像语义分割的开山之作。

1.语义分割定义:

语义就是指物体的类别,即属于同一类别的物体都算作一类

比如图像中的3个人算作一类,5辆汽车算作一类等,它们都属于同一类别,即“人类”、“汽车”

一般规定要进行分割的n个类别的物体(即我们重点关注的一些物体),剩余物体属于背景类别。所以一共有n+1个类别

语义分割就是对“每个像素点进行分类”,即每个像素点属于n+1个类别中的某一类。比如:Image中所有的人的像素点都属于“人”这个类别,所有的汽车的像素点都属于“汽车”这个类别。

在这里需要区别的两种分割任务:

semantic segmentation - 只标记语义。下图中。

instance segmentation - 标记实例和语义。下图右。

本文研究第一种:语义分割



2.基本思路

将vgg,alexnet或者GoogLeNet等训练好的网络的最后几层全连接层改成全卷积层,再做反卷积,得到一个与输入大小一样的map,在这张map上做pixelwise classification。拿segmentation 的 ground truth作为监督信息,进行训练。

如图所示:



3主要就是以下几个内容:

1.拿vgg或者其他现有的训练好的模型进行fine-tune

2.将最后2层的全连接层全部改成卷积核为1*1 全卷积层,channel数为对应总共的类别数+1(背景)

3.对最后一层1*1的全卷积层的输出进行deconvolution,输出与原图大小一样的map,便于对每个peixl 进行classification。deconvolution时使用双线性插值来初始化“转置卷积核”,学习率为0

4.增加了skip Architecture,增加前面pool层的信息进去,论文实验分别对1个pool,2个pool,3个pool进行实验,分别对应fcn-32s,fcn-16s,fcn-8s,实验证明加入3个pool效果最好。称为fcn-8s 8指的是568/70=8

4网络结构



如图所示

1)原始图像是500*500,为了使最后的输出为能够得到一个更大的feature图,便于deconvolution,因此人为的在原图上加了padding=100,(这样的做法略显粗糙,以后 改变stride+hole算法可以解决)

2.)pool5之前就是纯粹的vgg网络

3)pool5之后将原来的两个4096的全连接层,改成1*1的卷积核生成的16*16*4096的map,channel数量为4096

4)对于最后一个16*16*4096的在用一个1*1的卷积核去卷积,channel=21 得到16*16*21的map,称为coarse score map1

5)coarse score map1进行反卷积(bilinear插值上采样)得到34*34*21的map

6)同时pool4层也通过1*1的卷积变成x4*x4*21的map再通过crop变成34*34*21的map,称为coarse score map2

7)将第5步和第六步的map对应叠加,再进行反卷积(bilinear插值上采样)得到70*70*21的map

8)同理对pool3进行操作得到70*70*21的map与第七步的叠加,再进行反卷积(bilinear插值上采样)得到568*568*21的map

9)最后对568*568*21的map进行crop,变成500*500的图片,然后进行peixl classification ,总共500*500个像素,每个像素有21个值分别表示为对应类别的概率,取至最大的概率对应的类别作为这个像素的类别即可。

5反卷积

一般有两种实现方法:

1)思路就是:一个函数y=wx,那么求x=y/w,然后将这个想法应用到卷积和反卷积上即可,示意图如下:

卷积:



反卷积:





**

=[x1,x2,x3,x4]

**

2)对于输入加padding,使得其变成一个较大的map,进行卷积,不过反卷积的权值设置还需得和卷积时的权值对应上示意图如下:



总结一下:

论文主要是采用了1*1的卷积核进行学习,改变channel,分然反卷积进行上采样,并在此过程中加入之前pool的信息,以期学得更多内容。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐