论文阅读：Fully Convolutional Instance-aware Semantic Segmentation

作者第一个提出了针对Instance-aware Semantic Segmentation的fully convolutional end-to-end solution 。



针对为什么FCN不能用来做detection，作者解答：

卷积具有平移不变性，同样的像素在不同的位置有相同的响应。但是instence semantic segmentation考虑region level，相同的像素在不同的区域应该会有不同的响应。

针对这个问题，作者通过InstanceFCN（图1（b），也是该作者自己提出的方法）可以较好解决。

另外，现有的Instance-aware Semantic Segmentation算法存在一些问题：

1.经过RoI pooling 操作会丢失图像的空间信息，降低准确率。

2.之后的fc layer参数过多容易过拟合。

3.RoI过多，都要经过fc layer，耗时长。

本文框架：



本文主要的实现方法就是基于InstanceFCN，区别就是在InstanceFCN中获得的是k∗k个一维的score map（每个值表示该像素是否属于某实例的某一位置的概率），本文将其扩展成k∗k∗(C+1)维的score map，相当于多考虑了每个Instance的类别。

另外，用RoI取代了sliding window，并且增加了inside\outside score，相当于在原有基础上多了一倍的score map。

最后，我们会针对每个RoI，得到2个（C+1）维的score map，分别是inside\outside。

for detection：使用max，即这个RoI里的所有像素属于c类物体的似然取均值。

for segmentation：计算Softmax即可得到属于前景或背景的概率。