网易云课堂吴恩达Andrew Ng深度学习笔记（四）

01.神经网络和深度学习
第四周   深层神经网络
所谓深层神经网络，字面上对应于浅层神经网络，即具有2层及以上的隐藏层。



其正向传播过程一样，z[l] = w[l]a[l-1] + b[l], a[l] = g[l](z[l])

小技巧，用维度来检查计算过程，n是每一层的神经元个数。导数的维度不变。



如果只考虑单个数据，z和a的维度如下


，
对应上面的正向传播公式，可用维度检查[nl,1] = [nl,nl-1] * [nl-1,1] + [nl,1]
如果向量化后，把m个数据一次计算，Z和A维度如下



理论，深度网络其中深度的意义
深度代表抽象过程，以图像识别为例，逐层递进，从边界到局部特征（眼睛，鼻子）到面部组合。



又比如语言识别，从音素到音节到单词到语句。
从另一个角度出发，深层网络可以降低复杂度，不然需要更多的隐藏单元参与运算才能达到相同效果。
深层神经网络的正向与逆向传播，整体来说和2层神经网络的思路一样，只是递推过程增加了次数。



第一行先给出a[0]，即输入x，加上各层的w,b，逐个计算a[l]。保存z[l]



向量化后，公式如下



第二行从da[l]开始反向计算逐层计算导数，得到dw,db。更新w，b参数。



向量化后，公式为



da[l]是按照loss函数求导计算出来。
在最后一层为sigmoid的情况下，



超参数，hyperparameter
区别与神经网络中的parameter： w, b这两个直接影响算法计算的，还有其他会影响效果的参数称为超参数。
超参数对算法的影响也很重要，比如更新参数的学习率、梯度学习的循环次数、隐藏层的个数，神经元个数、激活函数的选择等等。实际上超参数会影响参数的计算，故称为“超”参数。
超参数的设定是一个经验过程，需要在一次次的试验中才能找到适合特点情况下的“最优”参数。
没有哪一种超参数可以适用所有情况，一切都是数据说话。比如loss函数的变化情况。
深度学习最早的说法神经网络，将其与大脑的进行类比。部分原因可能是基于下图，



输入到输出的变化，但实际上大脑对于人类还有太多太多的未知。
两者一个是数学计算公式，一个是生物电刺激传递。其实是很难进行比较的。