卷积神经网络学习笔记与心得(4)池化
2018-02-25 20:34
417 查看
图片经过卷积、激活后的结果一般带有大量原图信息。
![](https://img-blog.csdn.net/20180225203356754?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYnViaW5neWFuZw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
上图中卷积核提取的是竖直方向上的连续像素,但是,被增强的像素只占了结果的1/3,对于多层网络,其余重要性较低的信息也被传入了下一层网络,造成了不必要的浪费,因此需要用池化对卷基层得到的结果做聚合统计。池化的理论基础是:图像相邻位置的像素是相关的,即使间隔一段尺寸对图像进行采样,得到的结果依旧能保持大部分信息。常用的池化方式有最大池化和均值池化。池化的另一个重要作用是为卷积神经网络带来一定的平移、旋转和透视不变性。
![](https://img-blog.csdn.net/20180225203405764?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYnViaW5neWFuZw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
上图展示了池化如何为模型带来平移不变性。原图中垂直方向上的一段连续像素被右移了一个单位得到了平移后的图片,两者经过尺寸为2*2,步长为1的最大池化后,得到了相同的结果。对于旋转和透视,池化也可以达到类似的效果。但池化使模型具有对平移、旋转、透视的抗性并不是没有限制的,首先池化的效果依赖于卷积的结果,如果卷积没有捕捉到上述变换后的特征,池化也失去了抗平移、旋转、透视的能力,其次,池化对上述三种变换的抗性和池化的尺寸有关,池化尺寸越大,抗性越强,但信息丢失的也越多,其中利弊需要设计者权衡。
上图中卷积核提取的是竖直方向上的连续像素,但是,被增强的像素只占了结果的1/3,对于多层网络,其余重要性较低的信息也被传入了下一层网络,造成了不必要的浪费,因此需要用池化对卷基层得到的结果做聚合统计。池化的理论基础是:图像相邻位置的像素是相关的,即使间隔一段尺寸对图像进行采样,得到的结果依旧能保持大部分信息。常用的池化方式有最大池化和均值池化。池化的另一个重要作用是为卷积神经网络带来一定的平移、旋转和透视不变性。
上图展示了池化如何为模型带来平移不变性。原图中垂直方向上的一段连续像素被右移了一个单位得到了平移后的图片,两者经过尺寸为2*2,步长为1的最大池化后,得到了相同的结果。对于旋转和透视,池化也可以达到类似的效果。但池化使模型具有对平移、旋转、透视的抗性并不是没有限制的,首先池化的效果依赖于卷积的结果,如果卷积没有捕捉到上述变换后的特征,池化也失去了抗平移、旋转、透视的能力,其次,池化对上述三种变换的抗性和池化的尺寸有关,池化尺寸越大,抗性越强,但信息丢失的也越多,其中利弊需要设计者权衡。
相关文章推荐
- 卷积神经网络学习笔记与心得(2)数据集
- 卷积神经网络学习笔记与心得(1)前言
- 卷积神经网络学习笔记与心得(5)全连接层
- 卷积神经网络学习笔记与心得(3)卷积
- H5小弟弟学习es6视频,和人积累笔记与心得。。。。。。。
- 转型学习心得_js笔记
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-02-基于Python的卷积运算
- 黑马程序员—11—java基础:有关线程通信的学习笔记和学习心得体会
- 黑马程序员—13—java基础:有关集合类的学习笔记和心得体会
- “ubunt Server最佳方案”个人学习笔记之安装心得
- Servlet学习笔记心得
- java OOP学习笔记 学习心得
- 11.13课堂笔记、作业以及学习心得
- 卷积神经网络(CNN)学习笔记
- 卷积神经网络(CNN)学习笔记2:模型训练
- 黑马程序员—4—Java基础: 面向对象继承学习笔记和学习心得体会
- Apache Note | Apache 学习笔记(心得) 【转】
- [心得] JavaScript权威指南学习笔记
- 黑马程序员—8—Java基础:有关包的学习笔记和学习心得和体会
- 卷积神经网络-学习笔记