深度学习进阶(三)--BackPropagation算法的影响因素(补充昨天的博客更新)
2017-10-09 22:16
330 查看
总结一下昨天的学习过程
学习了解了影响神经网络中的一些参数:
1,层数以及每层神经元的个数(感觉层数越多BackPropagation算法效果越不怎么好)
2,权重以及偏向的初始化方法,比如说均值为1的正态分布,或者除以示例平方的正太分布或者除以2n的开根号的正态分布
3,目标cost函数的设置,二次cost函数以及log形式的函数公式
4,正规化(Regularization)的技术解决过拟合overfitting问题,参数 R
5,函数的选择,比如sigmoid或者tanh或者softmax
6,使用训练集的大小以及随机采样的大小
7,学习率的设置
这些只是简单的学习了解,更深层次的理解剖析还有待理解吸收消化
学习了解了影响神经网络中的一些参数:
1,层数以及每层神经元的个数(感觉层数越多BackPropagation算法效果越不怎么好)
2,权重以及偏向的初始化方法,比如说均值为1的正态分布,或者除以示例平方的正太分布或者除以2n的开根号的正态分布
3,目标cost函数的设置,二次cost函数以及log形式的函数公式
4,正规化(Regularization)的技术解决过拟合overfitting问题,参数 R
5,函数的选择,比如sigmoid或者tanh或者softmax
6,使用训练集的大小以及随机采样的大小
7,学习率的设置
这些只是简单的学习了解,更深层次的理解剖析还有待理解吸收消化
相关文章推荐
- 深度学习进阶(五)--卷积神经网络与深度置信网络以及自动编码初识(补昨天博客更新)
- 随时更新———个人喜欢的关于模式识别、机器学习、推荐系统、图像特征、深度学习、数值计算、目标跟踪等方面个人主页及博客
- [深度学习之CNN] 之参考博客链接汇总(更新中)
- 不断更新,保持高效:android进阶学习书籍,网络博客,优质论坛
- C++的学习 (此博客将一直补充更新下去,C++语法方面的内容不开新随笔了, *【语法学习】)
- 深度学习笔记9:权值更新的实现
- unity && C#学习资料和博客,持续更新
- 机器学习深度学习必备知识框架定时更新
- 2018年机器学习&深度学习资料 全新汇总(不断更新),希望看到文章的朋友能够学到更多
- 一些好的技术类博客和学习网站(持续更新中)
- Android 学习论坛博客及网站推荐(1028日更新)
- 深度学习网上资料 — 持续更新...
- 深度学习零基础进阶第四弹
- 【深度学习-CNN】训练样本不平衡对训练结果的影响
- Caffe深度学习进阶之Cifar-10分类任务(下)
- 深度学习框架Lasagne的技巧总结(2)——参数的更新与不更新
- 机器学习(三) 深度学习的经典论文、代码、博客文章
- 深度学习论文汇总(2018.2.4更新)
- Android学习必用-推荐大牛的博客(持续更新中……)(by 星空武哥)
- GMap.net 搜集学习资料好的博客、网址【不断更新中】