[Deeplearning]5监测学习过程(from A practical guide to training restricted boltzmann machine)
2016-01-20 17:12
381 查看
最简单的监测学习过程的方法,就是计算数据和重建可见层数据的平方和误差。
但是平方和误差并不能很准确的表示学习的效果。
小的平法误差和并不能表示模型开始变得不好,但是大的平方误差和通常意味着模型开始变的不好了。但也有可能是学习速率、冲量、权重cost、稀疏性参数改变导致的平方和误差的大的改变。
对此,Hinton给的建议是,使用平方和误差作为监测学习过程的手段,但是并不完全相信它。
如果你有label的数据,可以通过监测在训练数据和验证数据集上的辨别能力来监测学习过程。
但是平方和误差并不能很准确的表示学习的效果。
小的平法误差和并不能表示模型开始变得不好,但是大的平方误差和通常意味着模型开始变的不好了。但也有可能是学习速率、冲量、权重cost、稀疏性参数改变导致的平方和误差的大的改变。
对此,Hinton给的建议是,使用平方和误差作为监测学习过程的手段,但是并不完全相信它。
如果你有label的数据,可以通过监测在训练数据和验证数据集上的辨别能力来监测学习过程。
相关文章推荐
- CUDA搭建
- 稀疏自动编码器 (Sparse Autoencoder)
- 白化(Whitening):PCA vs. ZCA
- softmax回归
- 卷积神经网络初探
- 图像识别和图像搜索
- 卷积神经网络
- 深度学习札记
- 图像智能打标签‘神器’-AlchemyVision API
- ubuntu theano 安装成功,windows theano安装失败
- 【Deep learning vs BPL】思考:complex => simple => rich
- 卷积神经网络知识要点
- 1.linear Regression
- 1.linear Regression
- SURF项目总结 - deepdream
- Deep learning: autoencoders and sparsity
- Windows7+Anaconda+Theano+Pylearn2深度学习环境搭建
- 2015年12月5日
- 开设博客初衷