神经网络训练心得1
2018-03-02 17:54
211 查看
最近刚学习完cnn的一些基础理论,就立刻写了一个自己的LeNet-5对cifar-10进行训练,现将调试的第一条心得记录如下:第一是在进行权重初始化(weight initialization)的时候一定要小心,不是随便给出几个小的随机数就万事大吉了,当神经网络层数不多的时候,或许没什么太大的影响,但当网络变深的时候,激活函数可能会变为了0!这时候无论怎么训练,准确率也只有随机水平
第二是学习率(learning rate)非常重要, 当它太小时,loss下降得非常慢或者基本不变,太大时又loss=nan又可能会出现,Nan出现就意味着loss 爆炸,这很可能是学习率太高造成的。
Ps:cs231n专门用两节课来讲训练神经网络的问题,http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture6.pdf和http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf
第二是学习率(learning rate)非常重要, 当它太小时,loss下降得非常慢或者基本不变,太大时又loss=nan又可能会出现,Nan出现就意味着loss 爆炸,这很可能是学习率太高造成的。
Ps:cs231n专门用两节课来讲训练神经网络的问题,http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture6.pdf和http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf
相关文章推荐
- 神经网络CNN训练心得--调参经验
- 神经网络训练心得~
- 强化学习+神经网络来训练一个股票交易系统
- GUI:GUI的方式创建/训练/仿真/预测神经网络—Jason niu
- 07. 训练神经网络2
- 不同的神经网络训练函数training function的比较
- 训练神经网络的简单例子(TensorFlow平台下Python实现)
- Matlab离线训练好的神经网络在Visual Studio中调用
- 训练深度神经网络失败的罪魁祸首不是梯度消失,而是退化
- tensorflow入门之训练简单的神经网络方法
- 训练的神经网络不工作?一文带你跨过这37个坑
- 深度神经网络--训练技巧
- Hulu机器学习问题与解答系列 | 二十三:神经网络训练中的批量归一化
- C++ 语言实现 BP 神经网络实例,手把手一句一句敲代码实现训练学习,模式识别 - (1)
- 训练深度神经网络
- 新颖训练方法——用迭代投影算法训练神经网络
- 训练深度神经网络的时候需要注意的一些小技巧
- 深度学习之五:使用GPU加速神经网络的训练
- 神经网络训练技巧入门
- 6经典卷积神经网络模型之AlexNet-6.2用于ImageNet的AlexNet网络的假数据训练