支持向量机SVM通俗理解(python代码实现)
2017-05-11 02:42
741 查看
这是第三次来“复习”SVM了,第一次是使用SVM包,调用包并尝试调节参数。听闻了“流弊”SVM的算法。第二次学习理论,看了李航的《统计学习方法》以及网上的博客。看完后感觉,满满的公式。。。记不住啊。第三次,也就是这次通过python代码手动来实现SVM,才让我突然对SVM不有畏惧感。希望这里我能通过简单粗暴的文字,能让读者理解到底什么是SVM,这货的算法思想是怎么样的。看之前千万不要畏惧,说到底就是个算法,每天啃一点,总能啃完它,慢慢来还可以加深印象。
SVM是用来解决分类问题的,如果解决两个变量的分类问题,可以理解成用一条直线把点给分开,完成分类。如下:
上面这些点很明显不一样,我们从中间画一条直线就可以用来分割这些点,但是什么样的直线才是最好的呢?通俗的说,就是一条直线“最能”分割这些点,也就是上图中的直线。他是最好的一条直线,使所有的点都“尽量”远离中间那条直线。总得的来说,SVM就是为了找出一条分割的效果最好的直线。怎么样找出这条直线,就变成了一个数学问题,通过数学一步一步的推导,最后转化成程序。这里举例是二个特征的分类问题,如果有三个特征,分类线就变成了分类平面,多个特征的话就变成了超平面。从这个角度出发去看待SVM,会比较轻松。
数学解决方法大致如下:
目的是求最大分隔平面,也就是选取靠近平面最近的点,使这些点到分隔平面的距离W最大,是一个典型的凸二次规划问题。
但是上面需要求解两个参数w和b;于是为求解这个问题,把二次规划问题转换为对偶问题
这样就只需求一个参数a了,通过SMO算法求出a后,再计算出b
最后通过f(x)用做预测。
详细的数学推导,请看下面两个博客以及《统计学习方法》,这两位博主其实已经讲解的非常详细了。
http://blog.csdn.net/zouxy09/article/details/17291543
http://blog.csdn.net/v_july_v/article/details/7624837
《统计学习方法》这本书里面全是数学公式,非常“课本”,建议先看博客,有个大概印象再去看“课本”,跟着“课本”一步一步的推导。最后用python代码实现一遍,应该就可以拿下SVM了。
python代码实现可以加深对那些数学推导公式的印象,看公式的时候,可能会想,这些推导好复杂,都有些什么用啊,结果写代码的时候会发现,原来最后都用在代码里。所以写代码可以加深对SVM的理解。
下面是SVM的python代码实现,我做了详细的注释,刚开始看代码也会觉得好长好复杂,慢慢看后发现,代码就是照着SVM的数学推导,把最后的公式推导转化为代码和程序的逻辑,代码本身并不复杂。
样例数据如下:
训练数据:train_data
测试数据:test_data
为方便学习,免去下载步骤(下载需要积分),故直接将数据粘贴在上面,如若有异常,请下载csv格式的原始数据。
训练集和测试集数据下载地址:
http://download.csdn.net/download/csqazwsxedc/10271147
参考:
《统计学习方法》
《Machine Learning in Action》
SVM是用来解决分类问题的,如果解决两个变量的分类问题,可以理解成用一条直线把点给分开,完成分类。如下:
上面这些点很明显不一样,我们从中间画一条直线就可以用来分割这些点,但是什么样的直线才是最好的呢?通俗的说,就是一条直线“最能”分割这些点,也就是上图中的直线。他是最好的一条直线,使所有的点都“尽量”远离中间那条直线。总得的来说,SVM就是为了找出一条分割的效果最好的直线。怎么样找出这条直线,就变成了一个数学问题,通过数学一步一步的推导,最后转化成程序。这里举例是二个特征的分类问题,如果有三个特征,分类线就变成了分类平面,多个特征的话就变成了超平面。从这个角度出发去看待SVM,会比较轻松。
数学解决方法大致如下:
目的是求最大分隔平面,也就是选取靠近平面最近的点,使这些点到分隔平面的距离W最大,是一个典型的凸二次规划问题。
但是上面需要求解两个参数w和b;于是为求解这个问题,把二次规划问题转换为对偶问题
这样就只需求一个参数a了,通过SMO算法求出a后,再计算出b
最后通过f(x)用做预测。
详细的数学推导,请看下面两个博客以及《统计学习方法》,这两位博主其实已经讲解的非常详细了。
http://blog.csdn.net/zouxy09/article/details/17291543
http://blog.csdn.net/v_july_v/article/details/7624837
《统计学习方法》这本书里面全是数学公式,非常“课本”,建议先看博客,有个大概印象再去看“课本”,跟着“课本”一步一步的推导。最后用python代码实现一遍,应该就可以拿下SVM了。
python代码实现可以加深对那些数学推导公式的印象,看公式的时候,可能会想,这些推导好复杂,都有些什么用啊,结果写代码的时候会发现,原来最后都用在代码里。所以写代码可以加深对SVM的理解。
下面是SVM的python代码实现,我做了详细的注释,刚开始看代码也会觉得好长好复杂,慢慢看后发现,代码就是照着SVM的数学推导,把最后的公式推导转化为代码和程序的逻辑,代码本身并不复杂。
from numpy import * def loadDataSet(filename): #读取数据 dataMat=[] labelMat=[] fr=open(filename) for line in fr.readlines(): lineArr=line.strip().split('\t') dataMat.append([float(lineArr[0]),float(lineArr[1])]) labelMat.append(float(lineArr[2])) return dataMat,labelMat #返回数据特征和数据类别 def selectJrand(i,m): #在0-m中随机选择一个不是i的整数 j=i while (j==i): j=int(random.uniform(0,m)) return j def clipAlpha(aj,H,L): #保证a在L和H范围内(L <= a <= H) if aj>H: aj=H if L>aj: aj=L return aj def kernelTrans(X, A, kTup): #核函数,输入参数,X:支持向量的特征树;A:某一行特征数据;kTup:('lin',k1)核函数的类型和参数 m,n = shape(X) K = mat(zeros((m,1))) if kTup[0]=='lin': #线性函数 K = X * A.T elif kTup[0]=='rbf': # 径向基函数(radial bias function) for j in range(m): deltaRow = X[j,:] - A K[j] = deltaRow*deltaRow.T K = exp(K/(-1*kTup[1]**2)) #返回生成的结果 else: raise NameError('Houston We Have a Problem -- That Kernel is not recognized') return K #定义类,方便存储数据 class optStruct: def __init__(self,dataMatIn, classLabels, C, toler, kTup): # 存储各类参数 self.X = dataMatIn #数据特征 self.labelMat = classLabels #数据类别 self.C = C #软间隔参数C,参数越大,非线性拟合能力越强 self.tol = toler #停止阀值 self.m = shape(dataMatIn)[0] #数据行数 self.alphas = mat(zeros((self.m,1))) self.b = 0 #初始设为0 self.eCache = mat(zeros((self.m,2))) #缓存 self.K = mat(zeros((self.m,self.m))) #核函数的计算结果 for i in range(self.m): self.K[:,i] = kernelTrans(self.X, self.X[i,:], kTup) def calcEk(oS, k): #计算Ek(参考《统计学习方法》p127公式7.105) fXk = float(multiply(oS.alphas,oS.labelMat).T*oS.K[:,k] + oS.b) Ek = fXk - float(oS.labelMat[k]) return Ek #随机选取aj,并返回其E值 def selectJ(i, oS, Ei): maxK = -1 maxDeltaE = 0 Ej = 0 oS.eCache[i] = [1,Ei] validEcacheList = nonzero(oS.eCache[:,0].A)[0] #返回矩阵中的非零位置的行数 if (len(validEcacheList)) > 1: for k in validEcacheList: if k == i: continue Ek = calcEk(oS, k) deltaE = abs(Ei - Ek) if (deltaE > maxDeltaE): #返回步长最大的aj maxK = k maxDeltaE = deltaE Ej = Ek return maxK, Ej else: j = selectJrand(i, oS.m) Ej = calcEk(oS, j) return j, Ej def updateEk(oS, k): #更新os数据 Ek = calcEk(oS, k) oS.eCache[k] = [1,Ek] #首先检验ai是否满足KKT条件,如果不满足,随机选择aj进行优化,更新ai,aj,b值 def innerL(i, oS): #输入参数i和所有参数数据 Ei = calcEk(oS, i) #计算E值 if ((oS.labelMat[i]*Ei < -oS.tol) and (oS.alphas[i] < oS.C)) or ((oS.labelMat[i]*Ei > oS.tol) and (oS.alphas[i] > 0)): #检验这行数据是否符合KKT条件 参考《统计学习方法》p128公式7.111-113 j,Ej = selectJ(i, oS, Ei) #随机选取aj,并返回其E值 alphaIold = oS.alphas[i].copy() alphaJold = oS.alphas[j].copy() if (oS.labelMat[i] != oS.labelMat[j]): #以下代码的公式参考《统计学习方法》p126 L = max(0, oS.alphas[j] - oS.alphas[i]) H = min(oS.C, oS.C + oS.alphas[j] - oS.alphas[i]) else: L = max(0, oS.alphas[j] + oS.alphas[i] - oS.C) H = min(oS.C, oS.alphas[j] + oS.alphas[i]) if L==H: print("L==H") return 0 eta = 2.0 * oS.K[i,j] - oS.K[i,i] - oS.K[j,j] #参考《统计学习方法》p127公式7.107 if eta >= 0: print("eta>=0") return 0 oS.alphas[j] -= oS.labelMat[j]*(Ei - Ej)/eta #参考《统计学习方法》p127公式7.106 oS.alphas[j] = clipAlpha(oS.alphas[j],H,L) #参考《统计学习方法》p127公式7.108 updateEk(oS, j) if (abs(oS.alphas[j] - alphaJold) < oS.tol): #alpha变化大小阀值(自己设定) print("j not moving enough") return 0 oS.alphas[i] += oS.labelMat[j]*oS.labelMat[i]*(alphaJold - oS.alphas[j])#参考《统计学习方法》p127公式7.109 updateEk(oS, i) #更新数据 #以下求解b的过程,参考《统计学习方法》p129公式7.114-7.116 b1 = oS.b - Ei- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.K[i,i] - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.K[i,j] b2 = oS.b - Ej- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.K[i,j]- oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.K[j,j] if (0 < oS.alphas[i]<oS.C): oS.b = b1 elif (0 < oS.alphas[j]<oS.C): oS.b = b2 else: oS.b = (b1 + b2)/2.0 return 1 else: return 0 #SMO函数,用于快速求解出alpha def smoP(dataMatIn, classLabels, C, toler, maxIter,kTup=('lin', 0)): #输入参数:数据特征,数据类别,参数C,阀值toler,最大迭代次数,核函数(默认线性核) oS = optStruct(mat(dataMatIn),mat(classLabels).transpose(),C,toler, kTup) iter = 0 entireSet = True alphaPairsChanged = 0 while (iter < maxIter) and ((alphaPairsChanged > 0) or (entireSet)): alphaPairsChanged = 0 if entireSet: for i in range(oS.m): #遍历所有数据 alphaPairsChanged += innerL(i,oS) print("fullSet, iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged)) #显示第多少次迭代,那行特征数据使alpha发生了改变,这次改变了多少次alpha iter += 1 else: nonBoundIs = nonzero((oS.alphas.A > 0) * (oS.alphas.A < C))[0] for i in nonBoundIs: #遍历非边界的数据 alphaPairsChanged += innerL(i,oS) print("non-bound, iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged)) iter += 1 if entireSet: entireSet = False elif (alphaPairsChanged == 0): entireSet = True print("iteration number: %d" % iter) return oS.b,oS.alphas def testRbf(data_train,data_test): dataArr,labelArr = loadDataSet(data_train) #读取训练数据 b,alphas = smoP(dataArr, labelArr, 200, 0.0001, 10000, ('rbf', 1.3)) #通过SMO算法得到b和alpha datMat=mat(dataArr) labelMat = mat(labelArr).transpose() svInd=nonzero(alphas)[0] #选取不为0数据的行数(也就是支持向量) sVs=datMat[svInd] #支持向量的特征数据 labelSV = labelMat[svInd] #支持向量的类别(1或-1) print("there are %d Support Vectors" % shape(sVs)[0]) #打印出共有多少的支持向量 m,n = shape(datMat) #训练数据的行列数 errorCount = 0 for i in range(m): kernelEval = kernelTrans(sVs,datMat[i,:],('rbf', 1.3)) #将支持向量转化为核函数 predict=kernelEval.T * multiply(labelSV,alphas[svInd]) + b #这一行的预测结果(代码来源于《统计学习方法》p133里面最后用于预测的公式)注意最后确定的分离平面只有那些支持向量决定。 if sign(predict)!=sign(labelArr[i]): #sign函数 -1 if x < 0, 0 if x==0, 1 if x > 0 errorCount += 1 print("the training error rate is: %f" % (float(errorCount)/m)) #打印出错误率 dataArr_test,labelArr_test = loadDataSet(data_test) #读取测试数据 errorCount_test = 0 datMat_test=mat(dataArr_test) labelMat = mat(labelArr_test).transpose() m,n = shape(datMat_test) for i in range(m): #在测试数据上检验错误率 kernelEval = kernelTrans(sVs,datMat_test[i,:],('rbf', 1.3)) predict=kernelEval.T * multiply(labelSV,alphas[svInd]) + b if sign(predict)!=sign(labelArr_test[i]): errorCount_test += 1 print("the test error rate is: %f" % (float(errorCount_test)/m)) #主程序 def main(): filename_traindata='C:\\Users\\Administrator\\Desktop\\data\\traindata.txt' filename_testdata='C:\\Users\\Administrator\\Desktop\\data\\testdata.txt' testRbf(filename_traindata,filename_testdata) if __name__=='__main__': main()
样例数据如下:
训练数据:train_data
-0.214824 0.662756 -1.000000 -0.061569 -0.091875 1.000000 0.406933 0.648055 -1.000000 0.223650 0.130142 1.000000 0.231317 0.766906 -1.000000 -0.748800 -0.531637 -1.000000 -0.557789 0.375797 -1.000000 0.207123 -0.019463 1.000000 0.286462 0.719470 -1.000000 0.195300 -0.179039 1.000000 -0.152696 -0.153030 1.000000 0.384471 0.653336 -1.000000 -0.117280 -0.153217 1.000000 -0.238076 0.000583 1.000000 -0.413576 0.145681 1.000000 0.490767 -0.680029 -1.000000 0.199894 -0.199381 1.000000 -0.356048 0.537960 -1.000000 -0.392868 -0.125261 1.000000 0.353588 -0.070617 1.000000 0.020984 0.925720 -1.000000 -0.475167 -0.346247 -1.000000 0.074952 0.042783 1.000000 0.394164 -0.058217 1.000000 0.663418 0.436525 -1.000000 0.402158 0.577744 -1.000000 -0.449349 -0.038074 1.000000 0.619080 -0.088188 -1.000000 0.268066 -0.071621 1.000000 -0.015165 0.359326 1.000000 0.539368 -0.374972 -1.000000 -0.319153 0.629673 -1.000000 0.694424 0.641180 -1.000000 0.079522 0.193198 1.000000 0.253289 -0.285861 1.000000 -0.035558 -0.010086 1.000000 -0.403483 0.474466 -1.000000 -0.034312 0.995685 -1.000000 -0.590657 0.438051 -1.000000 -0.098871 -0.023953 1.000000 -0.250001 0.141621 1.000000 -0.012998 0.525985 -1.000000 0.153738 0.491531 -1.000000 0.388215 -0.656567 -1.000000 0.049008 0.013499 1.000000 0.068286 0.392741 1.000000 0.747800 -0.066630 -1.000000 0.004621 -0.042932 1.000000 -0.701600 0.190983 -1.000000 0.055413 -0.024380 1.000000 0.035398 -0.333682 1.000000 0.211795 0.024689 1.000000 -0.045677 0.172907 1.000000 0.595222 0.209570 -1.000000 0.229465 0.250409 1.000000 -0.089293 0.068198 1.000000 0.384300 -0.176570 1.000000 0.834912 -0.110321 -1.000000 -0.307768 0.503038 -1.000000 -0.777063 -0.348066 -1.000000 0.017390 0.152441 1.000000 -0.293382 -0.139778 1.000000 -0.203272 0.286855 1.000000 0.957812 -0.152444 -1.000000 0.004609 -0.070617 1.000000 -0.755431 0.096711 -1.000000 -0.526487 0.547282 -1.000000 -0.246873 0.833713 -1.000000 0.185639 -0.066162 1.000000 0.851934 0.456603 -1.000000 -0.827912 0.117122 -1.000000 0.233512 -0.106274 1.000000 0.583671 -0.709033 -1.000000 -0.487023 0.625140 -1.000000 -0.448939 0.176725 1.000000 0.155907 -0.166371 1.000000 0.334204 0.381237 -1.000000 0.081536 -0.106212 1.000000 0.227222 0.527437 -1.000000 0.759290 0.330720 -1.000000 0.204177 -0.023516 1.000000 0.577939 0.403784 -1.000000 -0.568534 0.442948 -1.000000 -0.011520 0.021165 1.000000 0.875720 0.422476 -1.000000 0.297885 -0.632874 -1.000000 -0.015821 0.031226 1.000000 0.541359 -0.205969 -1.000000 -0.689946 -0.508674 -1.000000 -0.343049 0.841653 -1.000000 0.523902 -0.436156 -1.000000 0.249281 -0.711840 -1.000000 0.193449 0.574598 -1.000000 -0.257542 -0.753885 -1.000000 -0.021605 0.158080 1.000000 0.601559 -0.727041 -1.000000 -0.791603 0.095651 -1.000000 -0.908298 -0.053376 -1.000000 0.122020 0.850966 -1.000000 -0.725568 -0.292022 -1.000000
测试数据:test_data
0.676771 -0.486687 -1.000000 0.008473 0.186070 1.000000 -0.727789 0.594062 -1.000000 0.112367 0.287852 1.000000 0.383633 -0.038068 1.000000 -0.927138 -0.032633 -1.000000 -0.842803 -0.423115 -1.000000 -0.003677 -0.367338 1.000000 0.443211 -0.698469 -1.000000 -0.473835 0.005233 1.000000 0.616741 0.590841 -1.000000 0.557463 -0.373461 -1.000000 -0.498535 -0.223231 -1.000000 -0.246744 0.276413 1.000000 -0.761980 -0.244188 -1.000000 0.641594 -0.479861 -1.000000 -0.659140 0.529830 -1.000000 -0.054873 -0.238900 1.000000 -0.089644 -0.244683 1.000000 -0.431576 -0.481538 -1.000000 -0.099535 0.728679 -1.000000 -0.188428 0.156443 1.000000 0.267051 0.318101 1.000000 0.222114 -0.528887 -1.000000 0.030369 0.113317 1.000000 0.392321 0.026089 1.000000 0.298871 -0.915427 -1.000000 -0.034581 -0.133887 1.000000 0.405956 0.206980 1.000000 0.144902 -0.605762 -1.000000 0.274362 -0.401338 1.000000 0.397998 -0.780144 -1.000000 0.037863 0.155137 1.000000 -0.010363 -0.004170 1.000000 0.506519 0.486619 -1.000000 0.000082 -0.020625 1.000000 0.057761 -0.155140 1.000000 0.027748 -0.553763 -1.000000 -0.413363 -0.746830 -1.000000 0.081500 -0.014264 1.000000 0.047137 -0.491271 1.000000 -0.267459 0.024770 1.000000 -0.148288 -0.532471 -1.000000 -0.225559 -0.201622 1.000000 0.772360 -0.518986 -1.000000 -0.440670 0.688739 -1.000000 0.329064 -0.095349 1.000000 0.970170 -0.010671 -1.000000 -0.689447 -0.318722 -1.000000 -0.465493 -0.227468 -1.000000 -0.049370 0.405711 1.000000 -0.166117 0.274807 1.000000 0.054483 0.012643 1.000000 0.021389 0.076125 1.000000 -0.104404 -0.914042 -1.000000 0.294487 0.440886 -1.000000 0.107915 -0.493703 -1.000000 0.076311 0.438860 1.000000 0.370593 -0.728737 -1.000000 0.409890 0.306851 -1.000000 0.285445 0.474399 -1.000000 -0.870134 -0.161685 -1.000000 -0.654144 -0.675129 -1.000000 0.285278 -0.767310 -1.000000 0.049548 -0.000907 1.000000 0.030014 -0.093265 1.000000 -0.128859 0.278865 1.000000 0.307463 0.085667 1.000000 0.023440 0.298638 1.000000 0.053920 0.235344 1.000000 0.059675 0.533339 -1.000000 0.817125 0.016536 -1.000000 -0.108771 0.477254 1.000000 -0.118106 0.017284 1.000000 0.288339 0.195457 1.000000 0.567309 -0.200203 -1.000000 -0.202446 0.409387 1.000000 -0.330769 -0.240797 1.000000 -0.422377 0.480683 -1.000000 -0.295269 0.326017 1.000000 0.261132 0.046478 1.000000 -0.492244 -0.319998 -1.000000 -0.384419 0.099170 1.000000 0.101882 -0.781145 -1.000000 0.234592 -0.383446 1.000000 -0.020478 -0.901833 -1.000000 0.328449 0.186633 1.000000 -0.150059 -0.409158 1.000000 -0.155876 -0.843413 -1.000000 -0.098134 -0.136786 1.000000 0.110575 -0.197205 1.000000 0.219021 0.054347 1.000000 0.030152 0.251682 1.000000 0.033447 -0.122824 1.000000 -0.686225 -0.020779 -1.000000 -0.911211 -0.262011 -1.000000 0.572557 0.377526 -1.000000 -0.073647 -0.519163 -1.000000 -0.281830 -0.797236 -1.000000 -0.555263 0.126232 -1.000000
为方便学习,免去下载步骤(下载需要积分),故直接将数据粘贴在上面,如若有异常,请下载csv格式的原始数据。
训练集和测试集数据下载地址:
http://download.csdn.net/download/csqazwsxedc/10271147
参考:
《统计学习方法》
《Machine Learning in Action》
相关文章推荐
- 支持向量机 SVM 算法推导优缺点 代码实现 in Python
- 支持向量机通俗导论(理解SVM的三层境界)
- 机器学习:支持向量机(SVM)与Python实现第(三)篇
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 机器学习:支持向量机(SVM)与Python实现第(一)篇
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 【理论】支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 支持向量机通俗导论(理解SVM的三层境界)
- 理解SVM的三层境界-支持向量机通俗导论
- 支持向量机通俗导论(理解SVM的三层境界)