对象分割--Fully Convolutional Instance-aware Semantic Segmentation

Fully Convolutional Instance-aware Semantic Segmentation

CVPR2017

https://github.com/msracver/FCIS

本文是以 FCN 【29】为基础，提出 FCIS ，一个网络可以同时完成 分割和检测类别信息。

首先来看看FCIS 的网络结构图:



输入图像，使用CNN 提取特征，用 RPN 提取候选区域矩形框，计算这些矩形框的 部件 position-sensitive inside/outside score maps，就是 部件 对象边界内的概率图 和 对象边界外的概率图。通过 assembling 得到 完整对象的对象边界内的概率图 和 对象边界外的概率图，通过 pixel-wise softmax 得到 instance mask，通过

pixel-wise max 得到 类别概率。

（这里提出的 inside/outside score maps，主要还是得到一些 context 信息，提取更多的信息终究是好的）

下面是不同输入图像块的算法示意图：





FCN ， InstanceFCN， FCIS 对比：



FCN 只有类别输出，没有单个对象输出，InstanceFCN 只有单个对象输出，没有类别信息，需要单独的网络完成类别信息。本文的 FCIS 一个网络 同时输出 instance mask 和类别信息。

4 Experiments