加L2正则化防止过拟合前后准确率变化,以及权重初始化
2017-12-15 11:03
330 查看
最近在看深度模型处理nlp文本分类。一般在写模型的时候,L2正则化系数设为0了,没有去跑正则化。还有一个小trick,就是一些权重的初始化,比如CNN每层的权重,以及全连接层的权重等等。
一般这些权重可能选择随机初始化,符合某种正态分布。虽然结果影响不大,但是肯定会影响模型收敛以及准确率的。
先上两张图。
第一张图是我没有加正则化防止过拟合以及随机初始化权重矩阵的accuracy图。
第二章是我加了L2正则化以及用某种方法初始化权重后的结果,发现模型比较稳定,而且没有出现过拟合现象,也就是没有像第一幅图那样,到某个阶段准确率急速下降。
怎么加正则化就不说了,怎么初始化权重的话,可以看这个链接。https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit
一般这些权重可能选择随机初始化,符合某种正态分布。虽然结果影响不大,但是肯定会影响模型收敛以及准确率的。
先上两张图。
第一张图是我没有加正则化防止过拟合以及随机初始化权重矩阵的accuracy图。
第二章是我加了L2正则化以及用某种方法初始化权重后的结果,发现模型比较稳定,而且没有出现过拟合现象,也就是没有像第一幅图那样,到某个阶段准确率急速下降。
怎么加正则化就不说了,怎么初始化权重的话,可以看这个链接。https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit
相关文章推荐
- tensorflow中正则化防止过拟合以及Batch Normalization
- 机器学习中使用「正则化来防止过拟合」到底是一个什么原理?为什么正则化项就可以防止过拟合?
- 机器学习--正则化(regularization)防止分类器过拟合
- 《neural network and deep learning》题解——ch03 过度拟合&规范化&权重初始化
- tensorlfow学习之四:在之三的基础上改变了了权重初始化的方式和加了dropout以及改变了loss
- 正则化如何防止过拟合
- [置顶] 防止过拟合以及解决过拟合
- [转载]防止过拟合以及解决过拟合 (转)
- 正则化方法:防止过拟合,提高泛化能力
- mvc 分部视图(Partial)显示登陆前后变化以及Shared文件夹在解决方案资源管理器中没有显示的问题
- 选择屏幕初始化值以及选择屏幕输入后的变化
- 正则化方法:防止过拟合,提高泛化能力
- 正则化如何防止过拟合
- 正则化方法:防止过拟合,提高泛化能力
- 防止过拟合以及解决过拟合
- 正则化方法/防止过拟合提高泛化能力的方法:L1和L2 regularization、数据集扩增、dropout
- 79、tensorflow计算一个五层神经网络的正则化损失系数、防止网络过拟合、正则化的思想就是在损失函数中加入刻画模型复杂程度的指标
- 斯坦福大学深度学习公开课cs231n学习笔记(7)神经网络防止数据过拟合:损失函数和正则化
- 正则化防止过拟合
- L2范数防止过拟合以及矩阵特征值分解的几何意义