深度学习训练模型调参策略
2017-05-31 20:55
302 查看
重要性：学习率>正则值>dropout
学习率：0.001，0.01，0.1，1，10 …….以10为阶数尝试
小数据集上合适的参数大数据集上一般不会差，可以先减少训练类别。
欠拟合：
表现形式：训练集，测试集准确率都很低
解决办法：增加网络层数，增加节点数，减少dropout值，减少L2正则值等等
过拟合：
表现形式：训练集准确率较高，测试集准确率比较低
解决办法：增加数据、数据增强、参数范数惩罚L1、L2、提前终止、增加dropout值、BatchNormalization
学习率：0.001，0.01，0.1，1，10 …….以10为阶数尝试
小数据集上合适的参数大数据集上一般不会差，可以先减少训练类别。
欠拟合：
表现形式：训练集，测试集准确率都很低
解决办法：增加网络层数，增加节点数，减少dropout值，减少L2正则值等等
过拟合：
表现形式：训练集准确率较高，测试集准确率比较低
解决办法：增加数据、数据增强、参数范数惩罚L1、L2、提前终止、增加dropout值、BatchNormalization
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 下一代机器学习-在浏览器中训练深度学习模型Next Generation Machine Learning - Training Deep Learning Models in a Browser
- 深度学习与人脸识别系列（4）__利用caffe训练深度学习模型
- 迁移学习——数据不够的情况下训练深度学习模型
- 一文看懂迁移学习：怎样用预训练模型搞定深度学习？
- 深度学习 - 模型训练 技巧
- 深度学习实战——caffe windows 下训练自己的网络模型
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-3结合caffe中的CIFAR10修改相关配置文件并训练
- 深度学习（一）学会用CAFFE训练自己的模型
- 百度DMLC分布式深度机器学习开源项目（简称“深盟”）上线了如xgboost（速度快效果好的Boosting模型）、CXXNET（极致的C++深度学习库）、Minerva（高效灵活的并行深度学习引擎）以及Parameter Server（一小时训练600T数据）等产品，在语音识别、OCR识别、人脸识别以及计算效率提升上发布了多个成熟产品。
- 深度学习网络模型训练中loss为nans的总结
- 【神经网络与深度学习】深度学习实战——caffe windows 下训练自己的网络模型
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-1.制作自己的数据集
- 【深度学习】笔记7: CNN训练Cifar-10技巧 ---如何进行实验,如何进行构建自己的网络模型,提高精度
- 深度学习与人脸识别系列（3）__利用caffe训练深度学习模型
- 深度学习与人脸识别系列（6）__利用训练好的vgg模型进行人脸识别(利用摄像头)
- 【神经网络与深度学习】Caffe使用step by step：使用自己数据对已经训练好的模型进行finetuning
- 英伟达发布深度学习GPU训练系统DIGITS 5，自带图像分割与在线模型库
- 深度学习（Deep Learning）读书思考四：模型训练优化
- 深度学习Caffe实战笔记（21）Windows平台 Faster-RCNN 训练好的模型测试数据
- 深度学习与人脸识别系列（5）__利用训练好的vgg模型进行人脸识别(利用摄像头)