吴恩达深度学习课程笔记 1.2什么是神经网络？

吴恩达深度学习课程笔记

1.2什么是神经网络？



深度学习是指训练一些规模很大的神经网络。那么什么是神经网络呢？

What is a Neural Network?

我们从一个预测房价的例子来解释神经网络。

假设我们有一个6间房子的数据集，已知房子的面积（平方米）和房子的价格，现在我们要找到一个函数可以根据房子的面积来预测房子的价格。如果你了解线性回归，你就会想：可以用一条直线来拟合这些数据。

如下图所示：



但是，你可能会想到：房价不可能为负，但是直线会让价格为负，所以直线并不是一个好的结果；这个时候我们把直线在横轴的交点处截断，让为负的价格全部等于0。

如下图所示：图中的曲折的蓝线就是我们要的那个函数，可以很好地拟合我们的数据集。



当然，你也可以把这个函数看成一个非常简单的神经网络，可能这是最简单的一个神经网络了；我们将房子的面积作为神经网络的输入（X），然后经过一个节点，输出的结果就是房子的价格（Y）。中间的这个节点就是一个独立的神经元（neuron）；这时候你的网络实现了上述函数的功能，这个神经元的作用就是输入X，经过线性运算，取大于0的值作为房子的预测价格；这个神经元所做的工作就是我们在文献中经常看到的ReLU函数（一开始是0，然后是一条递增的直线；全称是Rectified Linear Unit修正线性单元，rectify是指取大于0的值）。

上述网络如下图所示：



上图表示的是一个单神经元网络， 一些规模大一点的网络就是一个个的单神经元网络堆叠起来的，就像堆乐高积木一样。

举一个大一点的网络例子，如下图：



一个房子除了面积还会有一些其他影响价格的因素：房间数量，邮政编码（吴恩达教授说：在美国邮政编码反应了当地的步行化程度，就是从家到商场、医院等地方有多远）和当地的富裕程度。上图中显示：房子面积和房间数量可以体现这栋房子可以住几口人，邮政编码和富裕程度反应了周围学校的质量。每一个圆圈都可能是一个ReLU函数或其他非线性函数。

在这个例子中输入的房子面积、房间数量、邮政编码、富裕程度，经过几个ReLU函数，都可以帮你预测人们愿意花什么价钱去购得这栋房子。X就是输入的四个特征，Y就是房子的价格，经过一些神经元的堆叠构成了一个大点的神经网络，神经网络的一部分神奇之处在于，你实现了它以后，只需输入X，就能得到Y，中间的过程它会帮你完成。

所以，实现了一个神经网络了以后，咱们要做的就是给它输入一些特征，神经网络的工作就是经过计算给我们一个结果。

如下图所示：



X是输入层，中间的三个神经元叫做神经网络的隐藏层，Y是输出层。隐藏层的输入就是X，输入的每个X都连接到每个隐藏层的神经元，层与层之间的连接数在神经网络中是最高的。

只要你给神经网络足够的数据集去训练，它是很擅长于计算出从 X 到 Y 的精准映射函数的。所以说，神经网络在有监督学习中的效果是非常好的，比如上述的预测房价的例子。

不足之处还望各位指正，多谢。

文中图片均来源于网易云课堂吴恩达的深度学习课程视频。