【转】论文阅读笔记-Segmentation-Aware Convolutional Networks Using Local Attention Masks
2018-01-11 09:56
513 查看
转自:http://blog.csdn.net/u012494820/article/details/78944806
发表于ICCV2017的论文Segmentation-Aware Convolutional Networks Using Local Attention Masks用segmentation-aware的convolution代替CNN中传统的convolution,使得计算过程中神经元可以注意于和它属于同一类的区域。在semantic segmentation和optical flow
estimation问题上取得了好的效果。
文章亮点:
1. Embedding的作用及实现
使用和VGG-16前7层类似的网络结构训练一种FCN网络,来实现pixel的embedding,即由R3映射为R64,使得同一物体的像素点距离近,不同物体的像素点距离远。各层都有监督信息,各层的输出融合后得到最终的embedding。学embedding network的目标函数为:
embedding得到的feature vector,用于指示各个像素点与周围像素点的类别近邻关系。在计算卷积时用作加权。
2. segmentation-aware convolution
论文中的卷积采用和Caffe类似的卷积计算方式实现,即先做image-to-column的变换,然后将卷积转化为矩阵乘法。本论文的方法需要对矩阵乘法插入weight mask。
对于输入H*W的feature map,每个点与其K个近邻计算距离,通过image-to-column的操作,得到(H*W)*K的mask矩阵。按照image-to-column的排列,原图像每个位置抽取其K个近邻,也可以得到(H*W)*K的矩阵。点对点相乘即实现加权。
3. segmentation-aware CRF
计算CRF时,将原始的RGB特征替换为embedding后的特征。
发表于ICCV2017的论文Segmentation-Aware Convolutional Networks Using Local Attention Masks用segmentation-aware的convolution代替CNN中传统的convolution,使得计算过程中神经元可以注意于和它属于同一类的区域。在semantic segmentation和optical flow
estimation问题上取得了好的效果。
文章亮点:
1. Embedding的作用及实现
使用和VGG-16前7层类似的网络结构训练一种FCN网络,来实现pixel的embedding,即由R3映射为R64,使得同一物体的像素点距离近,不同物体的像素点距离远。各层都有监督信息,各层的输出融合后得到最终的embedding。学embedding network的目标函数为:
embedding得到的feature vector,用于指示各个像素点与周围像素点的类别近邻关系。在计算卷积时用作加权。
2. segmentation-aware convolution
论文中的卷积采用和Caffe类似的卷积计算方式实现,即先做image-to-column的变换,然后将卷积转化为矩阵乘法。本论文的方法需要对矩阵乘法插入weight mask。
对于输入H*W的feature map,每个点与其K个近邻计算距离,通过image-to-column的操作,得到(H*W)*K的mask矩阵。按照image-to-column的排列,原图像每个位置抽取其K个近邻,也可以得到(H*W)*K的矩阵。点对点相乘即实现加权。
3. segmentation-aware CRF
计算CRF时,将原始的RGB特征替换为embedding后的特征。
相关文章推荐
- 论文阅读笔记-Segmentation-Aware Convolutional Networks Using Local Attention Masks
- 论文阅读笔记:U-Net: Convolutional Networks for Biomedical Image Segmentation
- 论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
- 全卷积(FCN)论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
- Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记
- 全卷积(FCN)论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
- 论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
- [论文阅读笔记]U-Net: Convolutional Networks for Biomedical Image Segmentation
- 论文笔记 FCN: Fully Convolutional Networks for Semantic Segmentation
- 《image Style Transfer Using Convolutional Neural Networks》论文笔记
- Early Hierarchical Contexts Learned by Convolutional Networks for Image Segmentation论文笔记
- 【论文阅读笔记】Densely Connected Convolutional Networks
- 论文阅读笔记-learning multi-domain convolutional neural networks for visual tracking
- 论文阅读笔记:Object Detection Networks on Convolutional Feature Maps
- [深度学习论文笔记][Semantic Segmentation] Fully Convolutional Networks for Semantic Segmentation
- [深度学习论文阅读]Fully Convolutional Networks for Semantic Segmentation(FCN网络)
- 【论文阅读笔记】Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- Fully Convolutional Networks for Semantic Segmentation论文阅读
- [论文阅读笔记]Two-Stream Convolutional Networks for Action Recognition in Videos