梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）问题
2017-10-20 15:16
561 查看
（1）梯度不稳定问题：
什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。
原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。
（2）梯度消失（vanishing gradient problem）：
原因：例如三个隐层、单神经元网络：
则可以得到：
然而，sigmoid方程的导数曲线为：
可以看到，sigmoid导数的最大值为1/4，通常abs（w）<1,则：
前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题。
（3）梯度爆炸（exploding gradient problem）：
当权值过大，前面层比后面层梯度变化更快，会引起梯度爆炸问题。
（4）sigmoid时，消失和爆炸哪个更易发生？
量化分析梯度爆炸出现时a的树枝范围：因为sigmoid导数最大为1/4，故只有当abs(w)>4时才可能出现
由此计算出a的数值变化范围很小，仅仅在此窄范围内会出现梯度爆炸问题。而最普遍发生的是梯度消失问题。
（5）如何解决梯度消失和梯度爆炸？
使用ReLU,maxout等替代sigmoid。（具体细节请看博主之前神经网络激活函数部分）
区别：（1）sigmoid函数值在[0,1],ReLU函数值在[0,+无穷]，所以sigmoid函数可以描述概率，ReLU适合用来描述实数；（2）sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。
什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。
原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。
（2）梯度消失（vanishing gradient problem）：
原因：例如三个隐层、单神经元网络：
则可以得到：
然而，sigmoid方程的导数曲线为：
可以看到，sigmoid导数的最大值为1/4，通常abs（w）<1,则：
前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题。
（3）梯度爆炸（exploding gradient problem）：
当权值过大，前面层比后面层梯度变化更快，会引起梯度爆炸问题。
（4）sigmoid时，消失和爆炸哪个更易发生？
量化分析梯度爆炸出现时a的树枝范围：因为sigmoid导数最大为1/4，故只有当abs(w)>4时才可能出现
由此计算出a的数值变化范围很小，仅仅在此窄范围内会出现梯度爆炸问题。而最普遍发生的是梯度消失问题。
（5）如何解决梯度消失和梯度爆炸？
使用ReLU,maxout等替代sigmoid。（具体细节请看博主之前神经网络激活函数部分）
区别：（1）sigmoid函数值在[0,1],ReLU函数值在[0,+无穷]，所以sigmoid函数可以描述概率，ReLU适合用来描述实数；（2）sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）问题
- 机器学习总结（九）：梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）问题
- [rnn]BPTT_梯度消失/爆炸问题
- 深度神经网络的梯度不稳定问题--梯度消失与梯度爆炸
- 深度学习梯度消失或爆炸问题
- 循环神经网络教程3-BP算法和梯度消失问题, Part 3 – Backpropagation Through Time and Vanishing Gradients
- Local Response Normalization作用——感觉LRN也是解决的梯度消失和爆炸问题，统计机器学习中的一个经典假设是“源空间（source domain）和目标空间（target domain）的数据分布（distribution）是一致的
- 十三、神经网络梯度不稳定问题（即梯度消失 & 梯度爆炸问题）
- 梯度消失（vanishing gradient）和梯度爆炸（exploding gradient）
- 关于梯度消失，梯度爆炸的问题
- 消失的梯度问题（vanishing gradient problem）
- 关于梯度消失，梯度爆炸的问题
- 深度神经网络-消失的梯度问题和爆炸的梯度问题
- 关于梯度消失，梯度爆炸的问题
- 深度学习解决局部极值和梯度消失问题方法简析
- 深度学习入门系列博客（严重推荐）--如何训练 梯度消失 梯度爆炸等解释的明确
- 理解神经网络梯度爆炸和梯度弥散问题
- 梯度爆炸与梯度消失的原因以及解决方法，局部极小值问题以及学习率问题（对SGD的改进）
- 自问自答2——深度学习中梯度消失/爆炸为什么是一个问题？(待完善）
- 深度神经网络为何很难训练（包含梯度消失和梯度爆炸等）