机器学习-支持向量机(python3代码实现)
2018-01-27 16:05
525 查看
支持向量机
哈尔滨工程大学-537算法原理:
一、寻找最大间隔
如下图所示,用一条分割线将两类点分割开来(二维的是一条分割线,多维的就是分隔面),显然三条线都能将两类点分割开来,然而,从直观来看,红色的分割线显然分割效果最好。为什么这么说呢?因为红色的分割线到两边最近的点的距离更远。可以直观把两边的两类点想象成地雷,我们有一支红军要通过这片雷区,显然,沿着绿色和灰色的路线行军,两边不会踩到地雷的安全区域非常的窄,而沿着红色的路线行军,安全区域明显更宽。我们的目的就是要找到能够使安全区域最宽的行军路线,最终使红军夺得革命战争的胜利。
如下图所示,距离分割线最近的几个点的位置,决定了分割线的位置,形象的来说,就是距离红军队伍最近的几个地雷的位置,决定了红军穿过雷区的行军路线,如果距离红军最近的地雷的位置发生改变,红军的行军路线就必须随之改变,否则安全区域就有可能变窄,踩到地雷的可能性就会增加。
那么此时要解决的目标就非常明确了,即找到距离分割线最近的那几个点,而这几个距离分割线最近的点,就叫做支持向量,这就是支持向量机一词的由来。
那么如何找到距离分割线最近的那几个点?
由高中数学可知:空间中一个点(x1,y1,z1)(x1,y1,z1)到平面线ax+by+c<
4000
span class="mi" id="MathJax-Span-25" style="font-family: MathJax_Math-italic;">z+d=0ax+by+cz+d=0 的距离为:ax1+by1+cz1+da2+b2+c2√ax1+by1+cz1+da2+b2+c2 ;
扩展为多维的情况,点Xi=(xi1,xi2...xi
24000
k)Xi=(xi1,xi2...xik)到一个超平面WTX+b=0WTX+b=0的距离为:WTXi+b||W||WTXi+b||W||,其中WW和XX为kk维向量(因为XiXi有kk个特征)。
于是当前的任务就是要找到WTXi+b||W||WTXi+b||W||值最小的数据点,将该点的WTXi+b||W||WTXi+b||W||最大化,此时的WW和bb就是我们要找的最优分割超平面的参数。
由高中数学可知:若点(x1,y1)(x1,y1)在直线y=ax+by=ax+b的上侧,则将点(x1,y1)(x1,y1)带入直线得ax1+b−y1>0ax1+b−y1>0,反之,若在下侧,则带入直线得ax1+b−y1<0ax1+b−y1<0;
推广到多维的情况:若数据点XiXi在超平面正侧,WTXi+b>0WTXi+b>0,那么将在这一侧的数据点定义为1类,即类别标签yiyi为1,那么yi(WTXi+b)>0yi(WTXi+b)>0;
反之,若数据点XiXi在超平面的负侧,WTXi+b<0WTXi+b<0,那么将这一侧的数据点定义为-1类,即类别标签yiyi为-1,那么yi(WTXi+b)>0yi(WTXi+b)>0 , 这样在比较大小的时候,就避免了负数的出现。
那么此时,首要任务就是找到yi(WTXi+b)||W||yi(WTXi+b)||W||最小的数据点,并将该点的yi(WTXi+b)||W||yi(WTXi+b)||W||值最大化。
若限制yi(WTXi+b)≥1yi(WTXi+b)≥1,则距离超平面最近的点的yi(WTXi+b)yi(WTXi+b)应等于1,而||W||||W||则越大,说明该点离超平面越近。
如下图,可以更加直观的理解以上说法,虚线WTX+b−1=0WTX+b−1=0和虚线WTX+b+1=0WTX+b+1=0分别是两条与直线WTX+b=0WTX+b=0平行的直线(由高中数学可知,WTX+b−1=0WTX+b−1=0在直线上侧,WTX+b+1=0WTX+b+1=0在直线下侧),通过归一化系数W,可以使最后的常数一直保持+1和-1,也就是说,这两条虚线可以在平面上任意移动,而始终保持WTX+b−1=0WTX+b−1=0和WTX+b+1=0WTX+b+1=0的形式。那么现在的要求就是,让这两条虚线之间的距离最大,且要保证所有点都在这两条虚线之外(或在虚线之上),即1类样本点都在WTX+b−1=0WTX+b−1=0的正侧(或在线上),即WTXi+b−1≥0WTXi+b−1≥0;而-1类样本点都在WTX+b+1=0WTX+b+1=0的负侧(或在线上),即WTXi+b+1≤0WTXi+b+1≤0。
如果把+1和-1项都移到等式右边,就分别为:WTXi+b≥+1WTXi+b≥+1和WTXi+b≤−1WTXi+b≤−1,再分别乘上它们的类别标签yiyi,就可以用一个式子来表示了,即WTXi+b≥1WTXi+b≥1。
那么此时的首要任务可以这样表述:给定训练样本(Xi,yi)(Xi,yi),在yi(WTXi+b)≥1yi(WTXi+b)≥1的限制条件下,使yi(WTXi+b)||W||yi(WTXi+b)||W||尽可能的大。
而能对分割超平面产生影响的只有支持向量,即位于虚线上的样本点,即yi(WTXi+b)=1yi(WTXi+b)=1的样本点,那么此时只需要使分母,即||W||||W||尽可能的大,为了后面计算方便,改写为使12||W||12||W||即12WTW12WTW尽可能的大。此时的WW和bb就是最优超平面的参数。
由高数内容可知:带限制条件的求极值,可以应用拉格朗日乘子法。即求12WTW12WTW的极值,限制条件为1−yi(WTXi+b)≤01−yi(WTXi+b)≤0(拉格朗日乘子法要求限制条件为f(x)≤0f(x)≤0的形式)。由于对于每一个数据点Xi(i=1,2...n)Xi(i=1,2...n),都作此限定条件,即任意的1−yi(WTXi+b)≤01−yi(WTXi+b)≤0,(i=1,2...n)(i=1,2...n)。
于是由拉格朗日乘子法得:
L(W,α,,b)=12WTW+∑i=1nαi(1−yi(WTXi+b))L(W,α,,b)=12WTW+∑i=1nαi(1−yi(WTXi+b))
要求什么样的WW和bb能使L(W,α,b)L(W,α,b)取得极小值,应分别对WW和bb求导,使导数为0,于是得到:
∂L∂W=W−∑i=1nαiyiXi=0∂L∂W=W−∑i=1nαiyiXi=0
∂l∂b=∑i=1nαiyi=0∂l∂b=∑i=1nαiyi=0
于是可得:W=∑i=1nαiyiXiW=∑i=1nαiyiXi
首先将L(W,α,b)L(W,α,b)逐项展开,得到:
L(W,α,b)=12WTW+∑i=1nαi−∑i=1nαiyiWTXi−b∑i=1nαiyiL(W,α,b)=12WTW+∑i=1nαi−∑i=1nαiyiWTXi−b∑i=1nαiyi
再将WW带回到L(W,α,b)L(W,α,b)中,并且∑ni=1αiyi=0∑i=1nαiyi=0,得到:
12(∑i=1nαiyiXi)T(∑i=1nαiyiXi)+∑i=1nαi−∑i=1nαiyi(∑i=1nαiyiXi)TXi12(∑i=1nαiyiXi)T(∑i=1nαiyiXi)+∑i=1nαi−∑i=1nαiyi(∑i=1nαiyiXi)TXi
整理后可得:
J(α)=∑i=1nαi−12∑i=1n∑j=1nαiαjyiyj(Xi)TXiJ(α)=∑i=1nαi−12∑i=1n∑j=1nαiαjyiyj(Xi)TXi
于是得到此时的目标函数为J(α)J(α)。即这样的WW和bb能够使得L(W,α,b)L(W,α,b)取得极小值,并且将WW和bb带入L(W,α,b)L(W,α,b)后得到J(α)J(α),现在的目标是将J(α)J(α)最大化。并且限制条件为:
∑i=1nαiyi=0∑i=1nαiyi=0
αi≥0αi≥0
式子J(α)J(α)中的Xi,yiXi,yi是全体样本点,然而J(α)J(α)取得极大值仅仅依赖距离超平面最近的点,即只和支持向量有关。所以J(α)J(α)的解必然是稀疏的,即对于支持向量,α>0α>0,而对于其他样本点,α=0α=0。
故将样本点带入J(α)J(α),再分别对αiαi求导,使导数等于0,再根据∑ni=1αiyi=0∑i=1nαiyi=0,求解αiαi,且αiαi需满足限定条件αi≥0αi≥0。
若解不满足限定条件,则解可能在限制边界上,则将将其中一个αα以0带入,求解其他αα值
再根据式子:W=∑ni=1αiyiXiW=∑i=1nαiyiXi,求解出WW。
最后根据式子yi(WTXi+b)=1yi(WTXi+b)=1,求解出bb。
于是便得到了最优超平面的参数WW和bb。
二、引入松弛变量
以上是针对比较完美的情况,即两类点100%线性可分,但是如果数据点并没有那么“干净”,这时候就可以引入所谓“松弛变量”,来允许有些数据点可以处于分割面的错误一侧,此时,限制条件为:yi(WTXi+b)≥1−ξiyi(WTXi+b)≥1−ξi
ξi≥0ξi≥0
之前是使得12WTW12WTW取极小值,现在是是使12WTW+C∑ni=1ξi12WTW+C∑i=1nξi取得极小值。这里的CC是可调节的参数,当CC比较大时,显然ξiξi比较小;CC比较小时,则ξiξi比较大。
于是此时应用拉格朗日乘子法可得:
L(W,b,ξi,α,μ)=12WTW+C∑i=1nξi+∑i=1nαi(1−ξi−yi(WTXi+b))−∑i=1nμiξiL(W,b,ξi,α,μ)=12WTW+C∑i=1nξi+∑i=1nαi(1−ξi−yi(WTXi+b))−∑i=1nμiξi
(这里将ξi≥0ξi≥0变成−ξi≤0−ξi≤0的形式,以适用拉格朗日乘子法)
与之前同样的做法,求L(W,b,ξi,α,μ)L(W,b,ξi,α,μ)取得极小值,应对WW,bb,以及引入的“松弛变量”ξiξi分别求偏导(i=1,2...n)(i=1,2...n),可以看出对WW和bb求偏导结果没有改变,因此仍然可得:
W=∑i=1nαiyiXiW=∑i=1nαiyiXi以及∑i=1nαiyi=0∑i=1nαiyi=0带入整理后仍然可得:
J(α)=∑i=1nαi−12∑i=1n∑j=1nαiαjyiyj(Xi)TXiJ(α)=∑i=1nαi−12∑i=1n∑j=1nαiαjyiyj(Xi)TXi
而对ξi(i=1,2...n)ξi(i=1,2...n)分别求偏导得到:
C−αi−μi=0C−αi−μi=0
此时的任务仍然是使J(α)J(α)最大化,而此时的限制条件为:
∑i=1nαi=0∑i=1nαi=0
αi≥0αi≥0
μi≥0μi≥0
C−αi−μi=0C−αi−μi=0
后三个限制条件可以合并为一个限制条件:
0≤αi≤C0≤αi≤C
于是此时便可以与之前同样的解法求解αiαi,唯一不同的是,αiαi的值被限定为小于一个设定的常数C。
三、SMO求解算法(简化版)
现在的问题是如何求解αi(i=1,2...n)αi(i=1,2...n),(显然有多少个样本点,就有多少个αα),大神Platt给出了SMO算法进行求解,这里可以跟随实际的python代码,一行一行的分析SMO算法的原理,由于代码较复杂,在代码中敲大量注释影响代码清晰性,所以在代码之外进行相应的解释。1)该段代码进行需要的各种库的导入,最后一行%matplotlib inline是为了保证在jupyter notebook 的运行环境下能够在浏览器上输出绘制的图像。
import numpy as np import random import matplotlib.pyplot as plt import pandas as pd %matplotlib inline
2)然后用pandas读取txt文件,并调用head方法显示文件的前几行。
file_name = r"D:\python_data\MachineLearningInaction\machinelearninginaction\Ch06\testSet.txt" file = pd.read_table(file_name,header=None, names=["factor1","factor2","class"]) file.head()
3)可以看到所读取的txt文件的前几行如下图,每个样本有2个特征,类标签分别为+1或-1。
4)接下来再绘制一张样本点分布的散点图,蓝色的是正例,即+1类的点;红色的是负例,即-1类的点。横坐标为“factor1”,纵坐标为“factor2”。
positive = file[file["class"] == 1] negative = file[file["class"] == -1] fig, ax = plt.subplots(figsize=(10,5)) ax.scatter(positive["factor1"], positive["factor2"], s=30, c="b", marker="o", label="class 1") ax.scatter(negative["factor1"], negative["factor2"], s=30, c="r", marker="x", label="class -1") ax.legend() ax.set_xlabel("factor1") ax.set_ylabel("factor2")
5)运行后,在浏览器上输出了如下的图像。
6)现在对数据已经有了清晰直观的了解,接下来需要把pandas读取出来的整个表格进行切分,前2列作为样本点的特征矩阵,最后一列作为类标签向量。下面函数输入的是pandas都取出来的文件file,调用as_matrix方法将其转化为矩阵orig_data,将这个矩阵去除最后一列的部分作为样本点的特征矩阵data_mat,而最后一列作为类标签向量label_mat。
def load_data_set(file): orig_data = file.as_matrix() cols = orig_data.shape[1] data_mat = orig_data[:,0:cols-1] label_mat = orig_data[:,cols-1:cols] return data_mat, label_mat
7)接下来调用该函数,得到样本点的特征矩阵data_mat和对应的类标签向量label_mat。
data_mat, label_mat = load_data_set(file)
8)还需要定义一个select_jrand函数,该函数的功能是给定输入i和m,随机输出一个0到m之间的与i不同的整数。这个函数在后面将会用到。
def select_jrand(i, m): j = i while(j==i): j = int(random.uniform(0,m)) return j
9)此外还需要定义一个clip_alpha函数,该函数的功能是输入将aj限制在L和H之间
def clip_alpha(aj, H, L): if aj > H: aj = H if L > aj: aj = L return aj
10)接下来是主体功能的实现函数,由于这个函数太长,为了方便理解,将以下代码分成一小段一小段的,这样就可以理解每一小段的功能。
10.1)循环外的初始化工作:首先该函数的输入为特征矩阵、类标签向量,常数C,容错率,最大迭代次数。首先将输入的特征矩阵和类标签向量都转化为矩阵(若特征矩阵和类标签向量已经是矩阵,则不需要这个步骤,若输入的是列表的形式,则需要该步骤),设置b为0,m和n分别为特征矩阵的行数和列数。创建一个m行1列的αα向量(即有多少个样本点就有多少个αα),迭代次数初始化为0(每次迭代在αα向量中寻找一对可以改变的αα,若没有找到则迭代次数+1,达到最大迭代次数还没有找到可以改变的αα,说明已经αα已经优化的差不多了,则退出循环)。
10.2)内循环的初始化工作:现在开始第一轮迭代,将改变的一对αα的数量alpha_pairs_changed初始化为0,然后遍历m个αα依次作为第一个αα,再在(0,m)范围内随机的找到第二个αα(第二个αα与第一个不能是同一个,这就用到了之前定义的select_jrand函数)。
10.3)第一小段代码:首先从i等于0开始,已知公式W=∑niαiyiXiW=∑inαiyiXi,若第0号数据点是支持向量,则该数据点必然在虚线WTX+b+1=0WTX+b+1=0或WTX+b−1=0WTX+b−1=0上,即WTX+b=−1WTX+b=−1或WTX+b=+1WTX+b=+1。
先将0号数据点带入公式求出WW,即代码中的WT_i,再将0号数据点和求得的WW带入WTX+bWTX+b求出WTX+bWTX+b的值,即代码中的f_xi。
代码中的E_i为得到的f_xi与实际的WTX+bWTX+b之间的误差,而这个误差大有说道,最完美的情况是若数据点是支持向量,则将数据点带入WTX+bWTX+b应该等于-1或+1,即该数据点应该在虚线WTX+b+1=0WTX+b+1=0或虚线WTX+b−1=0WTX+b−1=0上,而如果该数据点的类标签yiyi和误差E_i的乘积大于容错率,说明该数据点属于+1类且在WTX+b−1=0WTX+b−1=0的上侧,或者该数据点属于-1类且在WTX+b+1=0WTX+b+1=0的下侧。也就是说该点在属于自己的那一类的群体里,但是太靠后了且靠后的超过限度了(即大于容错率),根本无法作为支持向量,而这个点对应的αα值又大于0,说明这明明就不该是靠后站的,那么就要调整这个数据点的αα了。而另一种情况是该数据点的类标签yiyi和误差E_i的乘积小于负容错率,说明该点太靠前了已经处于虚线WTX+b+1WTX+b+1和虚线WTX+b−1WTX+b−1之间了,且该点的αα值又小于常数C,说明该点也不应该是靠前的,那就要调整这个数据点的αα了
若经过上述判断,决定要调整该数据点的αα,那么就调用之前定义的select_jrand函数随机的选择另一个要调整的αα,对另一个alphaalpha对应的数据点也计算相应的误差E_j,为了记录αα的调整情况,分别copy一下作为αiαi和αjαj的旧值。
10.4)第二小段代码:由于有一个限制条件即∑niαiyi=0∑inαiyi=0,且任意的αα在(0,C)之间,所以当调整其中一个αiαi的时候,另一个αjαj的改变必须有一定限制,即yiαi+yjαj=kyiαi+yjαj=k。即如下图:αiαi和αjαj必须在两条线段上。
根据上图,可以得到αjαj的取值范围(L,H)。
10.5)第三小段代码:下面为αjαj的更新公式:
αj=αj−yj(Ei−Ej)ηαj=αj−yj(Ei−Ej)η
其中η=2<Xi,Xj>−<Xi,Xi>−<Xj,Xj>η=2<Xi,Xj>−<Xi,Xi>−<Xj,Xj>。(尖括号表示两个向量的内积)
更新前先对ηη进行判断,若η≥0η≥0则退出本次循环,不进行更新。否则对αjαj进行更新。更新后需要调用之前定义的clip_alpha函数,将更新后的αjαj缩小在这个范围之内,最后检验一下αjαj值改变了多少,如果改变的太少,就不要更新了,直接退出本次循环寻找下一对αα,改变那点值没什么意义。
最后既然αjαj更新了,αiαi也得随之改变,且该变量应该是相等的,根据之前所述的yiαi+yjαj=kyiαi+yjαj=k,可以得到更新后的αiαi的值。
10.6)第四小段代码:对于样本点i,已经更新了其αiαi值,若b值也是正确的,则该点应该从更新之前的不在WTX+b±1=0WTX+b±1=0上,更新到位于WTX+b±1=0WTX+b±1=0上,亦即将样本点i带入,得到Enewi=WnewTXi+bnew−yi=0Einew=WnewTXi+bnew−yi=0。
同时又已知Eoldi=WoldTXi+bold−yiEiold=WoldTXi+bold−yi,根据上述两个公式,可以得到:
bnew=bold−Eoldi+WoldTXi−WnewTXibnew=bold−Eiold+WoldTXi−WnewTXi
前两项不用多说,最后两项的相减,有些说道,因为W=∑ni=1αiyiXiW=∑i=1nαiyiXi,所以其实WoldWold和WnewWnew的区别只在里面的αiyiXiαiyiXi和αjyjXjαjyjXj不同,只要把公式展开成向量的形式写出来就很容易看出来,二者相减之后的结果就是:
yi(αiold−αinew)<Xi,Xi>+yj(αoldj−αnewj)<Xj,Xi>yi(αiold−αinew)<Xi,Xi>+yj(αjold−αjnew)<Xj,Xi>
将后两项带入,就可以得到bnewbnew。
当然这里得到的是根据样本点i求得的bnewbnew,根据样本点j做同样操作,可以得到另一个bnewbnew,此时若更新后的αiαi在限定范围内,则b=bnew1b=b1new,若αjαj在限定范围内,则b=bnew2b=b2new,若αiαi和αjαj都在限定范围内,则b=b1+b22b=b1+b22。
10.7)收尾工作:若程序运行到此处,则已经更新了一对αα,并且也更新了bb值,则将alpha_pairs_changed加上1,代表更新了一对,继续更新下一对。若程序没有执行更新αα的操作,即alpha_pairs_changed=0,则将iter+1,代表迭代了一次,否则将iter置为1,重新开始迭代。若程序迭代的次数达到了最大迭代次数,还没有αα被更新,说明已经更新的很好了,则可以退出while循环,返回b值和αα向量。
def smo_simple(data_mat, class_label, C, toler, max_iter): # 循环外的初始化工作 data_mat = np.mat(data_mat); label_mat = np.mat(class_label) b = 0 m,n = np.shape(data_mat) alphas = np.zeros((m,1)) iter = 0 while iter < max_iter: # 内循环的初始化工作 alpha_pairs_changed = 0 for i in range(m): # 第一小段代码 WT_i = np.dot(np.multiply(alphas, label_mat).T, data_mat) f_xi = float(np.dot(WT_i, data_mat[i,:].T)) + b Ei = f_xi - float(label_mat[i]) if((label_mat[i]*Ei < -toler) and (alphas[i] < C)) or \ ((label_mat[i]*Ei > toler) and (alphas[i] > 0)): j = select_jrand(i, m) WT_j = np.dot(np.multiply(alphas, label_mat).T, data_mat) f_xj = float(np.dot(WT_j, data_mat[j,:].T)) + b Ej = f_xj - float(label_mat[j]) alpha_iold = alphas[i].copy() alpha_jold = alphas[j].copy() # 第二小段代码 if (label_mat[i] != label_mat[j]): L = max(0, alphas[j] - alphas[i]) # H = min(C, C + alphas[j] - alphas[i]) else: L = max(0, alphas[j] + alphas[i] - C) H = min(C, alphas[j] + alphas[i]) if H == L :continue # 第三小段代码 eta = 2.0 * data_mat[i,:]*data_mat[j,:].T - data_mat[i,:]*data_mat[i,:].T - \ data_mat[j,:]*data_mat[j,:].T if eta >= 0: continue alphas[j] = (alphas[j] - label_mat[j]*(Ei - Ej))/eta alphas[j] = clip_alpha(alphas[j], H, L) if (abs(alphas[j] - alpha_jold) < 0.00001): continue alphas[i] = alphas[i] + label_mat[j]*label_mat[i]*(alpha_jold - alphas[j]) # 第四小段代码 b1 = b - Ei + label_mat[i]*(alpha_iold - alphas[i])*np.dot(data_mat[i,:], data_mat[i,:].T) +\ label_mat[j]*(alpha_jold - alphas[j])*np.dot(data_mat[i,:], data_mat[j,:].T) b2 = b - Ej + label_mat[i]*(alpha_iold - alphas[i])*np.dot(data_mat[i,:], data_mat[j,:].T) +\ label_mat[j]*(alpha_jold - alphas[j])*np.dot(data_mat[j,:], data_mat[j,:].T) if (0 < alphas[i]) and (C > alphas[i]): b = b1 elif (0 < alphas[j]) and (C > alphas[j]): b = b2 else: b = (b1 + b2)/2.0 alpha_pairs_changed += 1 if (alpha_pairs_changed == 0): iter += 1 else: iter = 0 return b, alphas
11)接下来调用该函数,得到b值和αα向量,由于αα的值大多为0,所以只打印大于零的αα值。
b, alphas = smo_simple(data_mat, label_mat, 0.6, 0.001, 10) print(b, alphas[alphas>0])
12)辛辛苦苦走到这里,就看到几个所谓的αα和一个b值,真的不够。“锦瑟无端五十弦,一弦一柱思华年”,每一个算法的推导,每一段代码的理解,都给我留下了深刻的印象。过程的享受是一种润物无声的细腻,但我想要的更是成功之后那会“当凌绝顶,一览众山小”的快意,更要那“冲天香阵透长安,满城尽戴黄金甲”的震撼。于是,我又敲下了如下代码,得到了,那虽不太完美,却凝聚了我心血的分、割、线。
support_x = [] support_y = [] class1_x = [] class1_y = [] class01_x = [] class01_y = [] for i in range(100): if alphas[i] > 0.0: support_x.append(data_mat[i,0]) support_y.append(data_mat[i,1]) for i in range(100): if label_mat[i] == 1: class1_x.append(data_mat[i,0]) class1_y.append(data_mat[i,1]) else: class01_x.append(data_mat[i,0]) class01_y.append(data_mat[i,1]) w_best = np.dot(np.multiply(alphas, label_mat).T, data_mat) fig, ax = plt.subplots(figsize=(10,5)) ax.scatter(support_x, support_y, s=100, c="y", marker="v", label="support_v") ax.scatter(class1_x, class1_y, s=30, c="b", marker="o", label="class 1") ax.scatter(class01_x, class01_y, s=30, c="r", marker="x", label="class -1") lin_x = np.linspace(3,6) lin_y = (-float(b) - w_best[0,0]*lin_x) / w_best[0,1] plt.plot(lin_x, lin_y, color="black") ax.legend() ax.set_xlabel("factor1") ax.set_ylabel("factor2")
+++++++++++刚好在这一刻,2018年的蓝色月全食发生了+++++++++++++++
++++++向月全食致敬,祝我一年好运气,2018.1.31,19:41月全食++++++++
相关文章推荐
- 机器学习:支持向量机(SVM)与Python实现第(三)篇
- 机器学习:对于反向传播算法(backpropagation)的理解以及python代码实现
- 机器学习:支持向量机(SVM)与Python实现第(四)篇
- Python机器学习之XGBoost从入门到实战(代码实现)
- 机器学习:支持向量机(SVM)与Python实现第(二)篇
- 机器学习经典 PRML 最新 Python 代码实现,附最全 PRML 笔记视频学习资料
- 【机器学习】聚类结果评价指标及python3代码实现
- 机器学习与神经网络(二):感知器的介绍和Python代码实现
- 机器学习:K-近邻算法原理与Python代码实现
- 机器学习-朴素贝叶斯(python3代码实现)
- 机器学习与神经网络(四):BP神经网络的介绍和Python代码实现
- 用Python Scikit-learn 实现机器学习十大算法--朴素贝叶斯算法(文末有代码)
- 机器学习:神经网络、正则化、多分类问题与Python代码实现
- 机器学习与神经网络(三):自适应线性神经元的介绍和Python代码实现
- 机器学习09--神经网络的激活函数(Activation Function)及python代码实现
- 机器学习:支持向量机(SVM)与Python实现第(一)篇
- # 机器学习数据挖掘关联规则挖掘Apriori算法python代码实现
- 机器学习-K均值聚类(python3代码实现)
- 三十八、100行python代码实现机器学习自动分类
- 机器学习之支持向量机python实现