【Notes on Neural Networks and Deep Learning】(to be continued)

写在前面

为做毕设，在看Neural Networks and Deep Learning

“一本免费的在线书籍，爱好者福音。”应该是一本比较通俗的书，因为看到了一些从逻辑门角度由感知器过渡到常见神经网络（sigmoid neuron）的内容，感觉有些深度，所以打算看看；该书专注于回答”为什么“，能使读者获得更多有关神经网络和深度学习的intuition，既可当做UFLDL的补充，也可作为以后阅读Deep Learning（Bengio etc.） 的导论材料。

一个字——赞！

声明:下面的笔记只是自己阅读过程中觉得比较重要的idea/point.

chap 1

Using neural nets to recognize handwritten digits

1，首先给感知器做了比较形象的解释，举的例子是去参加cheese festival，有三个影响决策（是否去参加）的因素，分别是：

Is the weather good?

Does your boyfriend or girlfriend want to accompany you?

Is the festival near public transit? (You don’t own a

car).

三个取值均只能是0或1， 那么W矩阵就反映出这三个因素影响最终决策的权重。

2，NAND gate（与非门）足以刻画任意的逻辑运算了，但是不便于learning；阐明了将硬阀值的感知器（输入输出都只能是0/1，且激活函数为step function）“进化”成为软阀值形式（输入输出介于01之间，激活函数为sigmoid）的根本原因就是为了便于learning， 因为软阀值时W的微变带给输出的也是微变，原文：Sigmoid neurons are similar to perceptrons, but modified so that small changes in their weights and bias cause only a small change in their output.

想起加州理工的数据挖掘课，老师说软阀值是为了便于求导，和这里说的原因是等价的，但是这里说得更加get the point 。因为终归还是为了使输出相对于权重矩阵可微，便于learning.