Andrew Ng's deeplearning Course1Week1 Nerual Networks and Deep Learning(神经网络和深度学习)

Introduction to deeplearning

1.深度学习介绍

提到深度学习就不得不说到神经网络。那什么是神经网络呢？神经网络指一种有效的模拟大脑的学习算法。

例1：单神经网络。

根据房的大小来预测房价就是一个单神经网络，根据大小得出房价，中间的小圆圈就是单神经
（single neuron），实现了一个ReLU函数功能。
ReLU即rectified linear unit，即修正线性单元。（这个函数很重要）

例2：复杂神经网络。

如上图所示，复杂神经网络由多个single neuro组成。



根据多重因素，如大小，卧室数量，邮编，财富等来预测房价，中间的小圆圈是隐藏神经元
（hidden unit）。我们不关心每个圆圈具体代表什么，如家庭成员数量、学校质量等，这些
都由神经网络自己去决定。

2.监督学习（surpvised learning）

现在大多数的说的神经网络一般都是基于一种机器学习任务方式，也就是监督学习。



SNN standard neural network 标准神经网络
CNN convolutional neural network 卷积神经网络
RNN recurrent neural network 循环神经网络
HNN hybrid neural network 混合神经网络
上面的房价预测就是标准的神经网络中的一种，下面是SNN、CNN、RNN的大致示意图：



结构化的数据就是每个特征都有着清晰的定义，而非结构化的数据就是例如语音，像素，文本之类。

3.深度学习的崛起

规模驱动深度学习在进步。规模指大的数据量，计算能力的提高，算法的进步。



神经网络的训练是迭代的，因为有点类似黑箱操作的感觉，在你训练前，你并不能保证效果
一定是好的，所有只有不断尝试。当你有了想法就去编码，然后去实验，实验完了根据结果
的好坏继续改进；就这样循环往复，直到你觉得结果还不错。