当深度神经网络预测结果不好的时候,可以做的调节有哪些?
2019-03-25 01:13
246 查看
首先要看在trainning set上的预测结果是不是够好,如果traing set上的结果不够好的话:
- 可以改变loss function,一般来说分类的时候,使用“mse”的预测结果不如“cross_entropy”。
- 调整适当的batch_size,不宜过大或者过小,100是个不错的选择。
- 可以加深网络,不过由于sigmod函数问题,可能训练结果不够好,可以改为relu函数作为激活函数。
- 对数据进行前期处理非常重要,在输入到网络之前,应该将网络nomalized。
当训练结果比较好,而预测结果比较差时:
- early stopping,早点停止训练
- 在每一层上加入dropout,training上的结果会变差,但是test上的结果会变得更好。
注:adam的训练时收敛的速度要比sgd要快
相关文章推荐
- 神经网络可以计算哪些函数
- 训练深度神经网络的时候需要注意的一些小技巧【转载】
- 训练深度神经网络的时候需要注意的一些小技巧
- Tensorflow:深度神经网络DNN预测波士顿房价(boston house price)【一】
- 神经网络预测mnist时候如果不归一化,则准确率仅仅10%下文作者svm也遇到了。
- 训练深度神经网络的时候需要注意的一些小技巧
- Tensorflow:深度神经网络DNN预测波士顿房价(boston house price)【二】
- 基于多尺度卷积神经网络框架结合语义标签和surface normals以及深度预测
- 6、神经网络自己如何判断预测结果是否准确呢?
- 训练深度神经网络的时候需要注意的技巧
- 训练深度神经网络的时候需要注意的一些小技巧
- 训练深度神经网络的时候需要注意的一些小技巧
- 神经网络与深度学习笔记——第4章 神经网络可以计算任何函数的可视化证明
- TF之NN:matplotlib动态演示深度学习之tensorflow将神经网络系统自动学习并优化修正并且将输出结果可视化—Jason niu
- C++从零实现深度神经网络之四——神经网络的预测和输入输出的解析
- 训练深度神经网络的时候需要注意的一些小技巧
- 【论文阅读】利用深度自编码器神经网络预测药物相似度
- 5、神经网络是如何给出预测结果的?
- 神经网络与深度学习
- 深度神经网络-权值参数个数计算