感知机学习算法初步1

感知机学习算法初步—1

本博文简单介绍了感知机学习算法，给出了解决思路，算法，实验代码，以及实验结果等等。

问题定义1

给定一个训练数据集

T={(x1,y1),(x2,y2,⋯,(xN,yN))}

其中，xi∈Rn, yi∈{1,−1}, i=1,2,⋯,N，求参数 w,b，使其为以下损失函数极小化问题的解

minw,bL(w,b)=−∑xi∈Myi(w⋅xi+b)

其中，M为误分类点的集合。

解决思路

感知机学习算法是无分类驱动的，具体采用随机梯度下降法（stochastic gradient descent）。首先，任意选取一个超平面 w0,b0，然后采用梯度下降法不断地极小化目标函数。极小化过程中不是一次使 M 中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

算法1 （感知机学习算法的原始形式）

输入： T，学习率 η(0<η≤1)；

输出： w,b

1. 随机生成初值 w=w0,b=b0

2. 如果存在误分类点，在训练集中选取误分类点 (xk,yk)，即 yk∗(w⋅xk+b)≤0

3. w=w+η⋅yk⋅xk 和 b=b+η⋅yk

4. 跳转到2，直至训练集中没有误分类点

实验分析

我们以《统计学习方法》中的例2.1作为示例，来验证我们的代码正确与否，Python代码如下：

import numpy as np
import matplotlib.pyplot as plt

x = [[3,3],[4,3],[1,1]]
y = [1,1,-1]

w = np.zeros(2)
b = 0

while 1:
for i in range(3):
flag = 0
if (np.dot(w,x[i])+b)*y[i] <= 0:
w = np.add(w,np.multiply(x[i],y[i]))
b = b+y[i]
print i,w,b
flag = 1
break

if flag == 0:
break

print w,b

s1 = np.linspace(0,5,100)
s2 = (-1*b-w[0]*s1)/w[1]

plt.plot([3,4],[3,3],'*',[1],[1],'o',s1,s2,'r-')
plt.show()

实验结果

ID	w	b	误分类点
0	[0,0]	0	0
1	[3,3]	1	2
2	[2,2]	0	2
3	[1 1]	-1	2
4	[0,0]	-2	0
5	[3,3]	-1	2
6	[2,2]	-2	2
7	[1,1]	-3
8	[1,1]	-3

Talking is cheap, show me the code! YOU KNOW!!!

吴小同

2016-5-20
来源于李航《统计学习方法》. ↩