机器学习教程之6-神经网络的学习(Neural Networks:Learning)

1.代价函数

注意：由红色圆圈可知，这里的代价函数实际上输出的各个元素的代价函数之和。

2.反向传播算法

为了求得代价函数的最小值，需要计算代价函数的偏导数，这时需要反向传播算法。

首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。

3.反向传播算法的直观理解

4.实现注意：展开参数

5.梯度校验

6.随机初始化

7.综合起来

小结一下使用神经网络时的步骤：

网络结构：第一件要做的事是选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。

第一层的单元数即我们训练集的特征数量。

最后一层的单元数是我们训练集的结果的类的数量。

如果隐藏层数大于 1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。

我们真正要决定的是隐藏层的层数和每个中间层的单元数。

训练神经网络：

1. 参数的随机初始化

2. 利用正向传播方法计算所有的 hθ(x)

3. 编写计算代价函数 J 的代码

4. 利用反向传播方法计算所有偏导数

5. 利用数值检验方法检验这些偏导数

6. 使用优化算法来最小化代价函数

8.自主驾驶