吴恩达深度学习 | 神经网络和深度学习（第一周深度学习概论）

个人笔记

1.2 什么是神经网络

    ReLU函数 修正线性单元 取值不小于0

    输入x 隐藏层 输出y

1.3 用神经网络来监督学习

    1.基于机器学习（监督学习）：由输出X生成一个函数，从而得到输出y。

    2.广告投入，房价，使用标准的神经网络（standard NN）

      图像识别常应用卷积神经网络（CNN）。

      语音识别》》》语音，时间的推移，归为时间序列（一维），对于序列数据常使用循环神经网络（RNN）。

      语言（翻译）》》》按顺序排列，是序列数据，使用递归神经网络（RNNs）.

      无人驾驶、雷达（高级的图像识别应用），使用CNN的基础上还有一些混合的神经网络。

    3.机器学习被应用于结构化数据和非结构化数据：

        结构化数据：数据的数据库

        非结构化数据（计算机更难理解）：音频，图像，文本等

1.4 为什么深度学习会兴起

    1.数据集的增大，CPU、GPU的发展，可以训练越来越大的神经网络（需要大量的数据集）

        数据集不大的时候，训练效果取决于你手工设计的组件。

        当数据集非常大（大数据）的时候才能体现出神经网络算法优于其他传统机器学习算法。

    2.神经网络的一个突破性进步：从sigmoid函数，到ReLU函数

         机器学习：两侧梯度几乎为0，学习效率很慢。（使用梯度下降法时，参数变化很慢，学习就会很慢）

         而通过改变激活函数，神经网络使用修正线性单元ReLU，梯度为1，使梯度下降法运行的更快。

1.5 关于这门课

    答疑邮箱：feedback@deeplearning.ai

第一周作业