神经网络和深度学习——浅层神经网络（3）

神经网络

单个样本时：

和 均表示是第一层的参数，用方括号表示。        其中下角标表示的是第一层第n个点的参数

多个样本时：

上面是神经网络梯度下降的迭代过程，其中重要的是参数求导：

keepdims=true作用是确认的矩阵格式，符号*是点乘，即矩阵对应项相乘。

参数初始化

神经网络参数初始化时不能全部初始化为0，这样会让每个隐藏层的函数相同，隐藏层堆成，这样的话设置多个隐藏层就没有意义了。解决办法是随机初始化：

参数0.01的作用是使参数初始化值尽量小，如果参数初始化值过大，z也会过大，当使用 激活函数或者tanh激活函数时，z值大时函数趋于平缓，这样会使梯度下降速率变慢。