吴恩达 机器学习笔记八（lecture 8）（神经网络一）

神经网络一（Neural Networks）表层结构



1、Non-linear hypotheses

用逻辑回归算法来做这个分类的话，首先要构造逻辑回归函数。这个例子只有两个特征值，但是当我们包含多个特征值的时候，这种分类器就很局限。






当我们识别一辆车的时候，我们是根据图片每个部位的灰度值来识别的。假设我们有一张50x50像素的图片，那么他就有2500个灰度值，用之前的分类方法不能很好解决。用神经网络就能很好解决特征空间很大的情况。










2、Neurons and the brain

计算速度的提升，让之前在上世纪80-90年代很火的神经网络又开始变得流行起来。我们假设我们的大脑学习各种听说读写功能不需要用成千个不同的程序去实现，而只需要一个单一的学习算法就可以，下面是一些这一假设的证明:图中，红色区域是我们大脑用来控制触觉的神经，当我们减去触觉神经连接，连接上视觉神经时，我们大脑的那块区域也能够学会“看”。这被称为“神经重接实验”。



从这个意义上说，如果人体有同一块脑组织，能处理光、声或触觉信号，那么也许存在一种算法能同时处理这三种，而不是需要运行上千个不同程序或者上千个不同算法来做这些大脑所完成的。所以，也许我们可以找到一些近似的或者实际的大脑学习算法然后实现它，大脑通过自学掌握如何处理这些数据。可以猜想，如果我们把任何一种传感器接入到大脑的任何一个部位，大脑就会学会处理它。

eg:

左上角的图显示用舌头“看”（BrainPort的系统，前面的摄像头获取眼前物体的灰度值，通过线连接到舌头上电极阵列上，通过这样的方式学习看）；右上角是人体声纳，例如弹响指或者砸舌头帮助失明人士避开障碍物；左下角是一个触觉皮带，发出“嗡嗡”声，类似鸟类感知方向的方式



3、Model representation 

大脑原始神经元模型



构造神经元

这里x是输入向量，theta是权重，x0是偏置




隐藏层：layer2和layer3 除了输入层，每一层都有激活函数






计算例子






如果我们把左边的遮住，剩下的就类似之前的逻辑回归的形式






4、Examples and intuitions 

（1）逻辑与运算



（2）逻辑或运算



（3）逻辑非运算



（4）同或门

红色线表示与，蓝色线表示非与，绿色线表示或，组合在一起构成同或门



5、多分类

当输出层有多个神经元的时候，就可以实现多分类



PPT地址：http://download.csdn.net/download/cheneykl/10127716