Matlab在训练神经网络时既未达到迭代次数也未达到优化目标,但是突然停止
2014-01-09 22:30
851 查看
加入如下参数,取消validation check功能
net.divideFcn = ''
但是这个方法对于网络的训练精度提高和输出的逼近程度没有显著改善
问:求助:有人懂validation check吗
我在训练BP网络时,nntraintool 的界面上提示说validation stop.而且它的validation check自动显示的是6,而训练目标没有达到,训练就结束了。
答:validation check
翻译过来:确认检查
内涵:神经网络的样本若输入网络,默认情况下会将样本随即分为3类:训练样本,确认样本和测试样本。确认检查值默认是6,它的意思是指随着网络利用训练样本进行训练的过程中,确认样本的误差曲线连续6次迭代不在下降。这时训练终止(这只是训练终止条件之一,满足任一终止条件,训练过程都将终止)深层含义你可以这样理解,如果随着网络的训练,确认样本的误差已经基本不在减小,甚至增大,那么就没有必要再去训练网络了,因为继续训练下去的话,在利用测试样本进行测试网络的话,测试样本的误差将同样不会有所改善,甚至会出现过度拟合的现象。
validation checks已经达到设置的值了,所以停止训练了,如果网络在连续max_fail epochs后不能提高网络性能,就停止训练。有三种方法解决这个问题;1 提高validation checks的数值,比如设置net.trainParam.max_fail = 200;其实这等于自己糊弄自己严重不推荐,出现停止训练,就是因为被训练的网络已经过拟合,停下来是应该的。但6的确有点小,建议改成10到20之间的数
2 修改被训练的网络,比如说再加一个隐藏层试试
3 如果是数据太相近的问题,试试选择用divideind
还可以加入如下参数,取消validation check功能
net.divideFcn = ''
但是这个方法对于网络的训练精度提高和输出的逼近程度没有显著改善,但是取消这个功能之后,gradient又首先达到指定的目标,我的神经网络是不是陷入局部最优了。
转自:http://blog.csdn.net/pitt_xiong/article/details/7781274
net.divideFcn = ''
但是这个方法对于网络的训练精度提高和输出的逼近程度没有显著改善
问:求助:有人懂validation check吗
我在训练BP网络时,nntraintool 的界面上提示说validation stop.而且它的validation check自动显示的是6,而训练目标没有达到,训练就结束了。
答:validation check
翻译过来:确认检查
内涵:神经网络的样本若输入网络,默认情况下会将样本随即分为3类:训练样本,确认样本和测试样本。确认检查值默认是6,它的意思是指随着网络利用训练样本进行训练的过程中,确认样本的误差曲线连续6次迭代不在下降。这时训练终止(这只是训练终止条件之一,满足任一终止条件,训练过程都将终止)深层含义你可以这样理解,如果随着网络的训练,确认样本的误差已经基本不在减小,甚至增大,那么就没有必要再去训练网络了,因为继续训练下去的话,在利用测试样本进行测试网络的话,测试样本的误差将同样不会有所改善,甚至会出现过度拟合的现象。
validation checks已经达到设置的值了,所以停止训练了,如果网络在连续max_fail epochs后不能提高网络性能,就停止训练。有三种方法解决这个问题;1 提高validation checks的数值,比如设置net.trainParam.max_fail = 200;其实这等于自己糊弄自己严重不推荐,出现停止训练,就是因为被训练的网络已经过拟合,停下来是应该的。但6的确有点小,建议改成10到20之间的数
2 修改被训练的网络,比如说再加一个隐藏层试试
3 如果是数据太相近的问题,试试选择用divideind
还可以加入如下参数,取消validation check功能
net.divideFcn = ''
但是这个方法对于网络的训练精度提高和输出的逼近程度没有显著改善,但是取消这个功能之后,gradient又首先达到指定的目标,我的神经网络是不是陷入局部最优了。
转自:http://blog.csdn.net/pitt_xiong/article/details/7781274
相关文章推荐
- Matlab在训练神经网络时突然停止 Validation Stop
- Matlab在训练神经网络时突然停止
- 修改caffe输出multilabel,并自己训练完成了一个神经网络,初步达到目标检测的效果
- 入门| 神经网络训练中,Epoch、Batch Size和迭代傻傻分不清?
- 41.用神经网络模拟波函数并进行NN二甲基苯胺,N甲基苯胺,苯胺,硝基苯型神经网络的迭代次数对比并讨论将意识物质化的可能路径
- MATLAB 神经网络训练参数解释
- CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等
- matlab,详解神经网络训练中的nntraintool窗口
- MATLAB 神经网络训练参数解释
- Matlab离线训练好的神经网络在Visual Studio中调用
- 新版Matlab中神经网络训练函数Newff的使用方法
- 利用遗传算法优化神经网络:Uber提出深度学习训练新方式
- 前沿 | 利用遗传算法优化神经网络:Uber提出深度学习训练新方式
- matlab训练好神经网络之后,查看其权值参数。
- MATLAB神经网络学习笔记之:对线性神经网络进行自适应训练
- 新颖训练方法——用迭代投影算法训练神经网络
- 《纯干货16》调整学习速率以优化神经网络训练
- 斯坦福cs231n学习笔记(10)------神经网络训练细节(训练过程,超参数优化)
- 新版Matlab中神经网络训练函数Newff的使用方法
- 08. 训练神经网络3 -- 优化算法