机器学习与神经网络（二）：感知器的介绍和Python代码实现

前言：本篇博文主要介绍感知器的相关知识，采用理论+代码实践的方式，进行感知器的学习。本文首先介绍感知器的模型，然后介绍感知器学习规则（Perceptron学习算法），最后通过Python代码实现单层感知器，从而给读者一个更加直观的认识。

1.单层感知器模型

单层感知器是一种具有单层计算单元的神经网络，他的结构和功能都非常的简单，以至于现在在实际问题中很少被采用，但是感知器（Perceptron）首次提出了自组织、自学习的思想，所以他在神经网络的学习中起着基础性的作用。

1.1感知器模型

下图是一个单层感知器的模型图，他包含多个输入节点X0-Xn，权值向量W0-Wn(注意，这里X0和W0代表的是偏置因子，一般X0=1，图中X0处应该是Xn)，一个输出节点o,激活函数是sgn函数。(ps图片均来自网络)



根据上图，我们可以看出，神经元的输出为：

2.感知器的学习规则：

前面说过，感知器具有自学习，自适应的能力，那么他是怎么学习的呢，我们看下图



这里我们解释一下他的流程：

首先，我们输入训练样本X和初始化权重向量W，将其进行向量的点乘，然后将点乘求和的结果作用于激活函数sgn(),得到实际的输出O，现在我们根据实际输出O和期望输出d之间的差距error，来调整初始化的权重向量W。如此反复，直到W调整到合适的结果为止。

那么，我们接着来看一下，我们怎么根据实际输出和期望输出之间的差异进行权重向量W的调整呢？这就是所谓的Perceptron学习规则：



这里还是补充一点：公式中2.19a中的eta代表学习率，他表示每次调整的幅度，这是人为设置的一个参数，一般根据经验值或者通过实验得出。

3.感知器的Python代码实现

好了，我们已经知道了感知器的模型以及相关的学习规则，那么，我们就可以利用Python来实现他（代码基于Python2.7，Anaconda实现）

#! /usr/bin/env python
#coding=utf-8
import numpy as np
#感知器分类的学习
class Perceptron:
'''
eta:学习率
n_iter:权重向量的训练次数
w_:权重向量
errors_:记录神经元判断出错的次数

'''
def __init__(self,eta=0.01,n_iter=10):
self.eta=eta
self.n_iter=n_iter

def fit(self,X,y):
'''
输入训练数据X，训练神经元，X输入样本，y为样本分类
x=[[1,2],[4,5]]
y=[-1,1]
'''
#初始化权重向量,加1是因为W0
self.w_=np.zeros(1+X.shape[1])
#print(self.w_)#w_=[0,0,0]
self.errors_=[]

for i in range(self.n_iter):
errors=0
'''
zip(X,y)=[[1,2,-1],[4,5,1]]
'''
for xi,target in zip(X,y):#每次迭代使用一个样本去更新W
#相当于update=$*(y-y'),这里使用预测的结果进行误差判断
update=self.eta*(target-self.predict(xi))
'''
xi是一个向量[1,2]
update是一个数字
update*xi等价于
w1'=x1*update;w2'=x2*update
'''
self.w_[1:]+=update*xi
self.w_[0]+=update*1
#打印更新的W_
#print self.w_
#统计 判断的正确与否次数
errors+=int(update!=0)
self.errors_.append(errors)

def net_input(self,X):
'''
z=w0*1+w1*x1+w2x2+...+wm*xm
其中x0=1（一般w0=0,x0=1）
'''
return np.dot(X,self.w_[1:])+self.w_[0]*1

def predict(self,X):#相当于sign()函数
'''
y>=0--->1
y<0---->-1
'''
return np.where(self.net_input(X)>=0.0,1,-1)