CS231N 笔记7_图像分割和注意力模型【了解需要看论文】

图像分割

  图像分割需要将前景和背景分隔开，即对背景打上掩码。普通的图像分割就是按照图像的颜色纹理将图片的不同区域划分开来；而语义分割是将不同的单元划分出来，比如将人、树、草地分割开来；实例（instances）分割则更进一步，将人这个单元的不同个体给分割开来，从而知道左边的人和右边的人不是同一个实例个体。

语义分割

  为像素打上相应的标签，不关心具体实例。

  最蠢的方法是将图像分为很多个小块图像，对每个小块图像进行分类，这种方法十分耗时。人们一般用全卷积神经网络对图像进行检测，一次性得到所有的标签结果。

实例分割

  实例分割不仅对图像进行分类，而且对每个类别划分实例。

在论文中，该实现的特征提取方式是两种方式共同进行的：1. 从原始图像不同大小的框得出的不同大小的图像；2. 去除了背景颜色的图像；将这两种图像结合起来放入CNN中得出分类。

  这种实现方式其实和物体检测很像，可以使用类faster RCNN的结构去操作。

Attention Models 注意力模型