机器学习之神经网络

神经网络是现在最火的deep learning的基础，这里对Andrew Ng大师的教学视频进行了简要的记录和概括，主要是为了后期复习方便。



如上图所示，神经网络主要分为三个部分，输入层，中间层（又叫隐藏层），输出层。其中隐藏层可以由多层组成。

Andrew Ng给出的例子是以logistics函数为基础的神经网络，即：



其中J就是我们要最小化的目标函数，称为cost function，可以采取梯度下降算法对训练过程进行迭代，在神经网络中这一过程称为反向传播（back propagation）

但是神经网络的缺点是你无法根据牛顿下降或者梯度下降来得到一个局部最优解，神经网络存在着很多局部最优解，所以需要人为的控制网络的层数等一些条件，在这些条件控制好的情况下，神经网络是可以很好的工作的，但是具体怎么使用，需要进一步的学习才能慢慢体会。

老师播放了一个字体识别以及机器学习说话的视频，非常有趣，其中机器学习语言的反馈作用印象很是深刻，但是我还不知道什么原理。