吴恩达深度学习视频笔记1-1：《神经网络和深度学习》之《深度学习概论》

摘要
本文总结的是课程一《神经网络和深度学习》的第一周《深度学习概论》，共6小节。视频请访问deeplearning.ai或者网易云课堂。
1.1 欢迎词
Andrew的愿望：让成千上万的人使用人工智能，去解决真实世界的问题，创造一个人工智能驱动的社会。 1.2 什么是神经网络
以machine learning里的housing price prediction的经典例子为例，Price和size ofhouse以散点图的形式呈现在二维坐标系中。
用直线拟合price和size of house的关系并不合适，因为price不可能是负数。理想的拟合函数是一段从0起始的水平直线和斜线构成的折线段，这是Relu（修正线性单元）函数。



这个折线段就是一种简单的神经网络，size of house作为输入，通过节点，输出price。这个节点就是一个neuron，多个neuron可以相互叠加。

现在我们不仅用房屋面积预测价格，还加入了其他特征预测，比如#bedrooms，zip code，wealth等。



X现在增加到四种输入，y还是price，这就构成了一个更大的神经网络。神经网络的特点在于，你要做的只是输入x，就能达到输出y，所有中间过程无需关心。每一个中间节点neuron会受到所有输入的影响，当然你可以指定是否受到这些输入的影响。



给定足够多的x和y的样本，神经网络可以精确计算从x到y的精确映射函数。 1.3 监督学习
监督学习指的是给出输入x，预测输出y，1.2节介绍的房价预测就是一个例子。广告点击预测、计算机视觉领域的图像分类，以及语音识别、机器翻译、无人驾驶都是监督学习的案例。



房价预测、广告点击预测使用的是标准的神经网络，图像分类使用的是卷积神经网络，序列数据，比如音频，语音识别、机器翻译使用的是循环神经网络。无人驾驶则更为复杂，使用到的是一些混合神经网络。3种网络的实例如下图。



结构化数据里每个特征都有明确的定义，非结构化的数据（音频、图像、文字）的特征则没有。人类则天生地具备识别和学习非结构化数据的能力。 1.4 深度学习流行起来的原因
传统的机器学习方法在数据量增加到一定值之后，性能上升就会进入平台期。对于深度学习来说，随着数据量的增加和模型大小的增加，性能会有显著提升。推动深度学习的因素是scale，不仅仅指神经网络的规模，也指数据集的规模。



我们用（x，y）表示标记的样本，m表示训练样本的数量。当数据集不大的时候，决定性能的是主要是手工设计的组件，一个精心设计的SVM也许取得比神经网络还好的效果。数据集很大的时候，神经网络才会发挥其特长。



近些年来，算法方面也取得巨大创新，这些创新很大程度也是为了推动运算速度的提升。举个例子，常用的激活函数从sigmoid演进到Relu，正是因为sigmoid在接近1的时候，斜率很低接近0，梯度下降法运行会很慢。Relu的斜率都是1，梯度下降法不会出现运行慢的问题。
另外一个需要提升运算速度的原因是，很多时候，从业者凭借直觉有了一个想法，然后写代码，做实验，根据结果验证想法，如此循环。计算速度的提升可以加速迭代，能更快改进想法。 1.5课程介绍、1.6课程资源（略）