DRML(2016-CVPR)重现过程记录---(8)问题定位_3
2017-05-13 15:06
239 查看
在上一篇提到,我接下来会训练drml检测单个AU的结果
训练与尝试_1
说明:中间层采用drml结构,输入层是lmdb, loss层采用soft max
下面是train loss 曲线
测试对AU4检测的准确率,用没有参与神经网络模型训练的数据测试,会发现检测效果很差,但是用参与训练的数据测试,在训练集上的准确率是89.45%,在测试集上的准确率是74.38%。
部分图片可视化的结果:
上面是有AU4的,下面是没有AU4的。
训练与尝试_2
说明:输入输出以及中间层都用drml.prototxt,但是multinum都改成1,fc8输出num也改为1
下面是train loss 曲线
部分loss值如下图
看到,第20次迭代时loss会突然变得特别小,第40次又突然特别大(上面loss曲线图有一个顶峰的原因),后面又突然变很小且一直在徘徊。
猜测是因为学习速率太大造成的。
学习率从0.001减小到0.0003,得到的结果跟上面差不多。所以应该不是学习率太高的原因
训练与尝试_1
说明:中间层采用drml结构,输入层是lmdb, loss层采用soft max
下面是train loss 曲线
测试对AU4检测的准确率,用没有参与神经网络模型训练的数据测试,会发现检测效果很差,但是用参与训练的数据测试,在训练集上的准确率是89.45%,在测试集上的准确率是74.38%。
部分图片可视化的结果:
上面是有AU4的,下面是没有AU4的。
训练与尝试_2
说明:输入输出以及中间层都用drml.prototxt,但是multinum都改成1,fc8输出num也改为1
下面是train loss 曲线
部分loss值如下图
看到,第20次迭代时loss会突然变得特别小,第40次又突然特别大(上面loss曲线图有一个顶峰的原因),后面又突然变很小且一直在徘徊。
猜测是因为学习速率太大造成的。
学习率从0.001减小到0.0003,得到的结果跟上面差不多。所以应该不是学习率太高的原因
相关文章推荐
- DRML(2016-CVPR)重现过程记录---(5)问题定位_1
- DRML(2016-CVPR)重现过程记录---(7)问题定位_2
- DRML(2016-CVPR)重现过程记录---(9)问题解决与最终结果
- DRML(2016-CVPR)重现过程记录---(4)问题与反思
- DRML(2016-CVPR)重现过程记录---(10)代码上传
- DRML(2016-CVPR)重现过程记录---(2)数据预处理
- DRML(2016-CVPR)重现过程记录---(6)新的尝试与思考-tensorflow?
- DRML(2016-CVPR)重现过程记录---(1)caffe+DRML源码编译
- DRML(2016-CVPR)重现过程记录---(3)训练模型
- [项目过程中所遇到的各种问题记录]编辑器篇——FCKeditor相关知识及各种常见使用问题
- 一次内存泄漏问题定位过程与分析
- [项目过程中所遇到的各种问题记录]ORM篇——使用NHibernate配置对象实体的一些小问题
- [项目过程中所遇到的各种问题记录]图表篇——有关MSChart的一些小技巧
- [项目过程中所遇到的各种问题记录]图表篇——asp.net上不错的图表选择—FunsionCharts
- [项目过程中所遇到的各种问题记录]编辑器篇——使用FCKeditor生成静态分页HTML
- [项目过程中所遇到的各种问题记录]学习篇——对工作以来的学习过的开源项目进行总结—动软代码生成工具
- [项目过程中所遇到的各种问题记录]部署篇——项目部署过程中那些纠结的问题-IIS
- [项目过程中所遇到的各种问题记录]ORM篇——有关NHibernate查询封装
- [项目过程中所遇到的各种问题记录]部署篇——项目部署过程中那些纠结的问题-SQLServer
- [项目过程中所遇到的各种问题记录]编辑器篇——FCKeditor自定义上传路径配置