关于稀疏自编码-------“搞基”总结

       上个月研究了一下稀疏自编码相关知识，主要是做一个小小培训用。查阅了很多资料，看的大多数是原理性的，本人还没涉及到代码层面。文章大致分为两类：

1、在代价函数后加一个KL距离（相对熵）项，实现稀疏性。

2、在代价函数后加一个L1范数，实现稀疏性。

方法1理解较简单，吴恩达及其他作者衍生出的一些文章有较详细描述，最后是在稀疏自编码网络中利用BP学习算法，得到一组基及网络参数。

方法2需要求解一个字典和稀疏矩阵，其实和方法1得到的东西是一样的，只是求解过程会用到OMP（正交匹配追踪算法）等算法（不一定用这种算法）。

我还不理解的地方主要是：这两种方法是否有内在联系，为什么分为这两种。

之前有问了一位交大在读妹子，她也是没有深入了解，但还是整理了一篇，见她博文（http://blog.csdn.net/sun7_she/article/details/52300438），对此表示感谢。

下面是粗略整理的博文：

一、关于KL距离作为稀疏限制：

1、http://blog.csdn.net/whiteinblue/article/details/20639629

2、http://blog.csdn.net/llp1992/article/details/45579615

3、http://www.cnblogs.com/cj695/p/4498699.html

4、http://blog.csdn.net/pi9nc/article/details/27711441

5、https://www.52ml.net/8531.html

6、http://blog.csdn.net/ycheng_sjtu/article/details/38454305

二、关于L1范数作为稀疏限制：

1、http://blog.csdn.net/zouxy09/article/details/8777094/

2、http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html

3、http://blog.sina.com.cn/s/blog_837f83580102v7bm.html

4、http://www.cnblogs.com/aixueshuqian/p/3936892.html

三、关于范数稀疏性解释

1、http://blog.csdn.net/zouxy09/article/details/24971995 

2、http://www.cnblogs.com/aixueshuqian/p/3939101.html 

3、http://www.cnblogs.com/tenosdoit/p/3708996.html 

4、http://www.cnblogs.com/AndyJee/p/5048235.html 

5、http://blog.csdn.net/yhdzw/article/details/39186753 

6、http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ 原浙大硕，后MIT，他的生活帖子读来轻松却令人憧憬，大学时代的情怀吧。

四、其他是一些稀疏自编码、数学或代码层面解析

1、https://www.zhihu.com/question/38121173 

2、http://www.cnblogs.com/happylion/p/4209570.html

3、http://www.cnblogs.com/happylion/p/4270013.html 

4、http://www.cnblogs.com/AndyJee/p/5047174.html 

5、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612 

6、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612

7、http://blog.csdn.net/abcjennifer/article/details/7804962 原浙大硕，现百度，美女学霸，值得学习。

谢谢以上原创或非原创博客提供的知识共享，其中各种穿插，相信读者能在其中找到脉络。