吴恩达deeplearning.ai课程《神经网络和深度学习》____学习笔记（第四周）

____tz_zs学习笔记

第四周 深层神经网络

4.1 深层神经网络

·



·

4.2 深层网络中的前向传播

老师语：在实现深度神经网络的过程中，减少bug的方法之一是——仔细和系统化的去思考矩阵的维数。

4.3 核对矩阵的维数

确认所有的矩阵维数是前后一致的，能大大减少bug的出现。



·

4.4 为什么使用深层表示

本节课关于为什么深层神经网络（有比较多的隐藏层）会很好用。

1、从深层神经网络的表达过程来理解



2、另一种，关于神经网络为何有效的理论来源于电路理论。你可以用相对较小（隐藏单元数量相对较少）但是很深的神经网络来计算一个数学函数，而如果换成浅的神经网络，则需要成指数增长的单元数量才能达到同样的计算结果。

4.5 搭建深层神经网络块

构成深度神经网络的基础模块：前向传播步骤，反向传播步骤，缓存。



·

4.6 前向和反向传播

本节课讲述了前向传播、反向传播中的具体实现公式。与前面几周的课程结合起来，理解公式的来源和推导过程能帮助你很好的理解这个过程。



·



·

4.7 参数 VS 超参数

·



1、一个领域的研究员，有时候设置超参数的直觉可以推广，有时候又不可以。
2、就算是用了很久的模型，参数的最优数值是有可能会改变的。（或许是因为电脑的基础设施、CPU、GPU等的变化）
3、你必须尝试很多次不同的可能性

4.8 这和大脑有什么关系？

本节课简化的把一个神经网络的逻辑单元和一个生物神经元对比。事实上，连神经科学家们都很难解释神经元有哪些功能，究竟大脑中的神经元是怎么学习的。而大脑学习过程是否就是反向传播、梯度下降或者其他的原理我们暂时也不得而知。



·