UFLDL矢量化编程练习:用MNIST数据集的稀疏自编码器训练实现
2014-08-16 13:26
260 查看
折腾了两天,总算实现了用MNIST数据集的稀疏自编码器训练。发现了以下问题:
1,matlab编程所写代码不能太奢侈。定义变量时要尽量节省内存资源,向量能解决的不要用方阵,int8类型能解决的不要用双精度数;
2,UFLDL提供的minFunc函数有问题,样本数再少都会溢出,换为第一单元建议的另外一个函数,fminlbgs.m可以避免内存溢出问题,而且用随机选取的10000个手写数字训练能得到正确结果(与网站提供图片一致)。
3,优化过程中真正的内存消耗,大头不是样本数,而是参数个数。10000个样本,双精度数时占内存不过60多兆,而30万个参数,保留几个副本,普通机器真是相形见拙,令人灰心。不过从中悟出一些道理,也算值了。
4,我把用MNIST数据集训练稀疏自编码器程序打包上传,希望能对感兴趣的人有所帮助。
1,matlab编程所写代码不能太奢侈。定义变量时要尽量节省内存资源,向量能解决的不要用方阵,int8类型能解决的不要用双精度数;
2,UFLDL提供的minFunc函数有问题,样本数再少都会溢出,换为第一单元建议的另外一个函数,fminlbgs.m可以避免内存溢出问题,而且用随机选取的10000个手写数字训练能得到正确结果(与网站提供图片一致)。
3,优化过程中真正的内存消耗,大头不是样本数,而是参数个数。10000个样本,双精度数时占内存不过60多兆,而30万个参数,保留几个副本,普通机器真是相形见拙,令人灰心。不过从中悟出一些道理,也算值了。
4,我把用MNIST数据集训练稀疏自编码器程序打包上传,希望能对感兴趣的人有所帮助。
相关文章推荐
- UFLDL教程练习答案一(稀疏自编码器和矢量化编程实现)
- UFLDL教程练习之二:稀疏自编码器和矢量化编程
- UFLDL稀疏编码器练习实现
- UFLDL练习一(稀疏自编码器 )
- caffe示例实现之4在MNIST手写数字数据集上训练与测试LeNet
- UFLDL矢量化编程练习:遇到问题
- UFLDL矢量化编程练习:翻译
- ufldl 深度学习入门 第一发:基于BP网络实现稀疏自编码器
- caffe示例实现之4在MNIST手写数字数据集上训练与测试LeNet
- UFLDL稀疏自编码器练习翻译增添公式图片
- UFLDL练习-稀疏自编码实现
- caffe练习实例(1)——训练mnist数据集
- 深度学习入门教程UFLDL学习实验笔记二:使用向量化对MNIST数据集做稀疏自编码
- MNIST数据集的卷积神经网络训练代码具体实现示例--Tensorflow 框架
- UFLDL 教程学习笔记:2.矢量化编程实现
- 【编程练习】桶排序原理及编程(GNU C++实现)
- 【编程练习】二叉查找树原理及基本操作编程(GNU C实现)
- 编程基本功训练:流程图画法及练习
- 可视化自编码器训练结果&稀疏自编码器符号一览表
- 矢量化编程——以MNIST为例