您的位置:首页 > 运维架构

深度学习进阶(三)--BackPropagation算法的影响因素(补充昨天的博客更新)

2017-10-09 22:16 330 查看
总结一下昨天的学习过程

学习了解了影响神经网络中的一些参数:

1,层数以及每层神经元的个数(感觉层数越多BackPropagation算法效果越不怎么好)

2,权重以及偏向的初始化方法,比如说均值为1的正态分布,或者除以示例平方的正太分布或者除以2n的开根号的正态分布

3,目标cost函数的设置,二次cost函数以及log形式的函数公式

4,正规化(Regularization)的技术解决过拟合overfitting问题,参数 R

5,函数的选择,比如sigmoid或者tanh或者softmax

6,使用训练集的大小以及随机采样的大小

7,学习率的设置

这些只是简单的学习了解,更深层次的理解剖析还有待理解吸收消化
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐