深度学习常见面试题 | 批归一化（BN）层的作用及原理
2020-07-14 05:41
1496 查看
作用
1.解决反向传播时的梯度爆炸/消失
2.可以使用较大的学习率
3.缓解过拟合，可以去掉dropout和L2正则化等其他降低训练速度的trick
原理
1.将样本规范化至0均值，1方差
μB=1m∑i=1Nxiμ_B=\frac 1 m\sum_{i=1}^N{x_i}μB=m1∑i=1Nxi
2.使每一层激活函数的输入在各维度上有相似的分布
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 机器学习、深度学习常见面试题—第二波
- 机器学习与深度学习常见面试题（下）
- 深度学习常见面试题 | 各种激活函数
- 机器学习与深度学习常见面试题（上）
- 深度学习常见面试题（更新中）
- 常见的五种神经网络(4)-深度信念网络（下）篇之深度信念网络的原理解读、参数学习
- 机器学习、深度学习常见面试题—第一波
- 深度学习原理 Lesson 9 ：Loss functions, optimizers, the training loop
- 深度学习目标检测原理精讲+实战演练
- 深度学习_BN
- 【神经网络与深度学习】leveldb的实现原理
- 深度学习算法实践10---卷积神经网络（CNN）原理
- 详解深度学习中的Normalization，不只是BN（1）
- 深度学习总结：常见卷积神经网络(2)
- 深度学习之卷积网络attention机制SENET、CBAM模块原理总结
- 深度学习常见主流经典算法概述(三)（图像分类从AlexNet到SENet）
- 关于深度学习中的注意力机制，这篇文章从实例到原理都帮你参透了
- Linux学习笔记（五、常见目录的作用）
- java学习笔记18：java包机制、package的使用、JDK提供的常见包的作用
- Web常见安全漏洞原理及防范-学习笔记