深度学习笔记(3)——CNN中一些特殊环节的反向传播
2017-06-05 21:38
501 查看
在深度学习笔记(2)——卷积神经网络(Convolutional Neural Network)
中我们介绍了CNN网络的前向传播,这一篇我们介绍CNN的反向传播,讲到反向传播的时候实质就是一大堆求梯度的数学公式,这些公式其实已经在深度学习笔记(1)——神经网络(neural network)
那篇博客中介绍过了,所以这里就不再介绍。
但是传统的神经网络无论是隐层还是激活函数的导数都是可导,可以直接计算出导数函数,然而在CNN网络中存在一些不可导的特殊环节,比如Relu等不可导的激活函数、造成维数变化的池化采样、已经参数共享的卷积环节。NN网络的反向传播本质就是梯度(可能学术中会用残差这个词,本文的梯度可以认为就是残差)传递,所以只要我们搞懂了这些特殊环节的导数计算,那么我们也就理解CNN的反向传播。
Relu(x)={x,0,x>0x≤0
其在x=0处是不可微的,但是在深度学习框架的代码中为了解决这个直接将其在x=0处的导数置为1,所以它的导数也就变为了
δRelu(x)={1,0,x>0x≤0
最终实现也就一个if-else语句,关于Relu激活函数的优越性,可以看深度学习笔记(4)——Sigmoid和Relu激活函数的对比
mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生梯度爆炸的。
源码中有一个max_idx_的变量,这个变量就是记录最大值所在位置的,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示
中我们介绍了CNN网络的前向传播,这一篇我们介绍CNN的反向传播,讲到反向传播的时候实质就是一大堆求梯度的数学公式,这些公式其实已经在深度学习笔记(1)——神经网络(neural network)
那篇博客中介绍过了,所以这里就不再介绍。
但是传统的神经网络无论是隐层还是激活函数的导数都是可导,可以直接计算出导数函数,然而在CNN网络中存在一些不可导的特殊环节,比如Relu等不可导的激活函数、造成维数变化的池化采样、已经参数共享的卷积环节。NN网络的反向传播本质就是梯度(可能学术中会用残差这个词,本文的梯度可以认为就是残差)传递,所以只要我们搞懂了这些特殊环节的导数计算,那么我们也就理解CNN的反向传播。
Relu函数的导数计算
先从最简单的开始,Relu激活在高等数学上的定义为连续(局部)不可微的函数,它的公式为Relu(x)={x,0,x>0x≤0
其在x=0处是不可微的,但是在深度学习框架的代码中为了解决这个直接将其在x=0处的导数置为1,所以它的导数也就变为了
δRelu(x)={1,0,x>0x≤0
最终实现也就一个if-else语句,关于Relu激活函数的优越性,可以看深度学习笔记(4)——Sigmoid和Relu激活函数的对比
Pooling池化操作的反向梯度传播
CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单,就是把1个像素的梯度传递给4个像素,但是需要保证传递的loss(或者梯度)总和不变。根据这条原则,mean pooling和max pooling的反向传播也是不同的。1、mean pooling
mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层,这样就保证池化前后的梯度(残差)之和保持不变,还是比较理解的,图示如下mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生梯度爆炸的。
2、max pooling
max pooling也要满足梯度之和不变的原则,max pooling的前向传播是把patch中最大的值传递给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素,而其他像素不接受梯度,也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大,也就是max id,这个可以看caffe源码的pooling_layer.cpp,下面是caffe框架max pooling部分的源码// If max pooling, we will initialize the vector index part. if (this->layer_param_.pooling_param().pool() == PoolingParameter_PoolMethod_MAX && top.size() == 1) { max_idx_.Reshape(bottom[0]->num(), channels_, pooled_height_,pooled_width_); }
源码中有一个max_idx_的变量,这个变量就是记录最大值所在位置的,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示
卷积层的梯度计算
这一部分有大量的公式推导,繁琐之至,以后再写吧相关文章推荐
- 深度学习笔记---反向传播
- 深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
- 神经网络与深度学习学习笔记:正向传播与反向传播(未完)
- 深度学习与计算机视觉[CS231N] 学习笔记(4.1):反向传播(Backpropagation)
- 深度学习入门课程学习笔记06 反向传播
- 深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
- 无意义-深度学习前向反向传播笔记
- 深度学习21天实战实战caffe学习笔记<11:Caffe 反向传播>
- 深度学习入门课程学习笔记06 反向传播
- 深度卷积神经网络学习笔记2:步长不为1的卷积前向传播和反向传播
- 深度学习笔记三:反向传播(backpropagation)算法
- UFLDL深度学习笔记 (一)反向传播与稀疏自编码
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 七月算法深度学习笔记4 -- CNN与常用框架
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
- 深度学习笔记(二):简单神经网络,后向传播算法及实现
- 七月算法深度学习笔记5--CNN训练注意事项与框架使用
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-02-基于Python的卷积运算
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR