Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记

本篇论文主要介绍了尺度感知的语义图像分割(scale-aware Semantic Image Segmentation)

1.首先，多尺度的特征是提升语义图像分割性能的一个关键因素。

2.提取多尺度的特征主要有两种网络结构：

  第一种是：skip-net，第二种是：share-net

  


(1)skip-net的特点是取网络中多个中间层的特征并合并成一个特征，以实现多尺度的特征；

(2)share-net的特点是对输入图像进行尺度上的变换，得到不同尺度的输入图像，然后分别输入给网络，这样能够得到不同尺度的输入图像的特征，以形成多尺度的特征。

3.论文采用的是share-net的方式来得到多尺度的特征，在采用share-net方式提取多尺度特征时，需要考虑到一个问题，就是如何对多个尺度输入图像得到的特征进行融合？

(1)多尺度输入图像的特征的融合目前主要有两种方式，一种是max pooling；一种是average pooling(取平均)；

(2)本篇论文提出对多尺度输入图像特征进行加权求和进行融合:



   

是不同的尺度

  用图来表示：



  

4.多尺度输入图像的特征采用加权进行融合，如何得到各个尺度的权值？论文提出了利用注意力模型(Attention model)来训练得到各个尺度的权重。



5.Attention Model的网络结构：

  


6.Attention Model的实现

  Attention Model是一个两层的卷积结构，第一层有卷积层有512个3*3的卷积核，第二个卷积层有S个1*1的卷积核（S是尺度数，也就是不同尺寸输入图片数）。 

   


7.对Attention Model如何进行训练这块没有理解。