您的位置:首页 > 编程语言

UFLDL矢量化编程练习:用MNIST数据集的稀疏自编码器训练实现

2014-08-16 13:26 260 查看
     折腾了两天,总算实现了用MNIST数据集的稀疏自编码器训练。发现了以下问题:

     1,matlab编程所写代码不能太奢侈。定义变量时要尽量节省内存资源,向量能解决的不要用方阵,int8类型能解决的不要用双精度数;

     2,UFLDL提供的minFunc函数有问题,样本数再少都会溢出,换为第一单元建议的另外一个函数,fminlbgs.m可以避免内存溢出问题,而且用随机选取的10000个手写数字训练能得到正确结果(与网站提供图片一致)。

    3,优化过程中真正的内存消耗,大头不是样本数,而是参数个数。10000个样本,双精度数时占内存不过60多兆,而30万个参数,保留几个副本,普通机器真是相形见拙,令人灰心。不过从中悟出一些道理,也算值了。

    4,我把用MNIST数据集训练稀疏自编码器程序打包上传,希望能对感兴趣的人有所帮助。

         
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息