NLP深度学习 —— CS224学习笔记7
2017-08-28 21:46
295 查看
2、神经网络技巧和贴士
2.1 梯度检查
我们讨论了用微分来计算神经网络模型中参数的误差梯度,这里讨论另一种近似技巧,不需要误差反向传播。
其中
这种方法计算成本极其高,要使用两次前向传播,但是一种验证反向传播的好方法。
一个简单的梯度检查可以用以下方法实现
2.2 正则
我们使用L2正则防止过拟合
是Frobenius范数。
使用这样的约束可以解释为先验贝叶斯信任,优化的权重接近0。
2.3 神经单元
常用的激活函数有以下几种
Sigmoid
梯度为
Tanh
梯度为
Hard tanh
计算代价更小,但对于z级数大于1时饱和
导数可表达为
Soft sign
导数可表达为
sgn是signum函数,返回1或-1,依赖于z的符号。
ReLU
导数为
Leaky ReLU
导数为
2.4 Xavier参数初始化
Xavier等发现,对于sigmoid和tanh激活单元,更低的误差率和更快的聚合可以通过将矩阵权重W随机初始化为下列范围内的均匀分布
n_(l)是输入单元,n_(l+1)是输出单元
这里bias单元初始化为0
这种方法试图在层之间保持激活振动和反向传播梯度振动,否则梯度振动(信息的代理)一般会随着层间反向传播递减。
2.5 学习速率
我们碰到的大多数模型是non-convex模型,大的学习速率难以预测因为很大机会损失函数会发散。
Ronan等提出了
,其中a0是初始速率,t是何时速率开始递减。
2.6使用AdaGrad
与标准随机梯度下降的区别在于学习速率可对每个参数不同。每个参数的学习速率依赖于这个参数的梯度更新历史,对于此前更新少的参数使用更大的学习速率以使它更快更新。
如果梯度的历史RMS非常低,则学习速率会非常高,简单实现如下
2.1 梯度检查
我们讨论了用微分来计算神经网络模型中参数的误差梯度,这里讨论另一种近似技巧,不需要误差反向传播。
其中
这种方法计算成本极其高,要使用两次前向传播,但是一种验证反向传播的好方法。
一个简单的梯度检查可以用以下方法实现
2.2 正则
我们使用L2正则防止过拟合
是Frobenius范数。
使用这样的约束可以解释为先验贝叶斯信任,优化的权重接近0。
2.3 神经单元
常用的激活函数有以下几种
Sigmoid
梯度为
Tanh
梯度为
Hard tanh
计算代价更小,但对于z级数大于1时饱和
导数可表达为
Soft sign
导数可表达为
sgn是signum函数,返回1或-1,依赖于z的符号。
ReLU
导数为
Leaky ReLU
导数为
2.4 Xavier参数初始化
Xavier等发现,对于sigmoid和tanh激活单元,更低的误差率和更快的聚合可以通过将矩阵权重W随机初始化为下列范围内的均匀分布
n_(l)是输入单元,n_(l+1)是输出单元
这里bias单元初始化为0
这种方法试图在层之间保持激活振动和反向传播梯度振动,否则梯度振动(信息的代理)一般会随着层间反向传播递减。
2.5 学习速率
我们碰到的大多数模型是non-convex模型,大的学习速率难以预测因为很大机会损失函数会发散。
Ronan等提出了
,其中a0是初始速率,t是何时速率开始递减。
2.6使用AdaGrad
与标准随机梯度下降的区别在于学习速率可对每个参数不同。每个参数的学习速率依赖于这个参数的梯度更新历史,对于此前更新少的参数使用更大的学习速率以使它更快更新。
如果梯度的历史RMS非常低,则学习速率会非常高,简单实现如下
相关文章推荐
- 【自然语言处理】一文概述2017年深度学习NLP重大进展与趋势
- Nature:深度学习的现在和未来:DeepLearning、无监督学习、NLP
- 深度学习将会变革NLP中的中文分词
- 深度学习-->NLP-->Seq2Seq Learning(Encoder-Decoder,Beam Search,Attention)
- NLP深度学习 —— CS224学习笔记3
- Deep Learning, NLP, and Representations 深度学习,自然语言处理以及其表达式
- 深度学习与NLP
- 深度学习解决NLP问题:语义相似度计算
- 2017深度学习NLP进展与趋势
- Nature:深度学习的现在和未来:DeepLearning、无监督学习、NLP
- 深度学习解决NLP问题:语义相似度计算
- 一文了解深度学习在NLP中的最佳实践经验和技巧
- NLP深度学习 —— CS224学习笔记6
- 深度学习笔记——理论与推导之Structured Learning【NLP】(十二)
- 从语言学到深度学习NLP,一文概述自然语言处理
- 2017深度学习NLP进展与趋势
- ACL_2017年深度学习与NLP论文分享先行版(一)
- 深度学习在 NLP 上的实践
- NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
- Attention and Memory in Deep Learning and NLP(深度学习和NLP中的注意和记忆机制)