Python学习-机器学习实战-ch02KNN_part2

上一个part1的例子比较简单，很适合入门

这次的例子也比较简单，但是涉及的是从文本文件中解析数据、matplotlib可视化数据、数据归一化、分类测试，算是机器学习的入门知识实现了

原理不多赘述了，都是些基础的东西。

注：文章中的代码（注释除外）大多来自《机器学习实战》，请多支持正版书籍！

=====================================================================

file2matrix函数用于将文本文件转化为简单的数组

数据转换：

def file2matrix(filename):
fr=open(filename)
arrayOlines=fr.readlines()
#read()将文件内容放到一个字符串变量中
#readline()每只读去一行
#readlines()每次安航读取一整个文件内容，放到一个列表里，返回List
numberofLines=len(arrayOlines)
returnMat=zeros((numberofLines,3))
#3是由于本例中特征为三维
classLabelVector=[]
index=0
for line in arrayOlines:
line=line.strip()
#去掉所有回车字符
listFromLine=line.split('\t')
#将行内容按tab字符分割成元素列表
returnMat[index,:]=listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
#classLabelVector加入listFromLine的最后一个元素，该数据集中最后一列为类别标签
index+=1
return returnMat,classLabelVector

结果可视化化：

returnMat,classlabel=KNN.file2matrix('datingTestSet.txt')
fig=plt.figure()
#创建图表
ax=fig.add_subplot(111)
#fig.add_subplot是matplotlib的函数，在图表中创建子图
#参数表示1行1列第1个
#fig没有直接的scatter函数
ax.scatter(returnMat[:,1],returnMat[:,2],15.0*np.asarray(classlabel),15.0*np.asarray(classlabel))
#scatter用于画散点图，后两位参数是对图表样式进行设置
plt.show()

跟书上一个地方不一样的是，书中scatter函数参数是：

ax.scatter(returnMat[:,1],returnMat[:,2],15.0*array(classlabel),15.0*array(classlabel))

这样的话，会报“array not define”的错误，我是3.4版本的py

故引入：

import numpy as np

然后改为：

ax.scatter(returnMat[:,1],returnMat[:,2],15.0*np.asarray(classlabel),15.0*np.asarray(classlabel))

数据归一化：

def autoNorm(dataSet):
minVals=dataSet.min(0)
maxVals=dataSet.max(0)
ranges=maxVals-minVals
normDataSet=zeros(shape(dataSet))
m=dataSet.shape[0]
normDataSet=dataSet-tile(minVals,(m,1))
normDataSet=normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals

哈哈，这段归一化的原理和代码都比较简单，就没注释了

结果测试

下面是一个将上述几个小步骤（包括上一篇文章的KNN分类函数）整合起来，用于统计分类错误率

def datingClassTest():
hoRatio=0.10
#转换数据格式
datingDataMat,datingLabels=file2matrix('datingTestSet.txt')
#数据归一化
normMat,ranges,minval=autoNorm(datingDataMat)
m=normMat.shape[0]
numTestVecs=int(m*hoRatio)
#numTestVecs表示从数据集中选择hoRatio比例的数据来做测试集
errorCount=0.0
for i in range(numTestVecs):
classifierResult=classify(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
print("the classifier came back with:%d, the real answer is %d" %(classifierResult,datingLabels[i]))
if(classifierResult!=datingLabels[i]):
errorCount+=1.0
print("the total error rate is: %f" %(errorCount/float(numTestVecs)))

此处与书中不一样的是，改了print函数调用的方式，原书方法会报错。

运行结果



错误率只有5%，比我自己的研究结果好多了（

）

最后用一个完整的函数，根据用户的输入来完成检测功能。

def classifyPerson():
resultList=['not at all','in small doses','in large doses']
percentTats=float(input("percentage of  time spent playing video game?"))
ffMiles=float(input("frequent flier miles earned per year?"))
iceCream=float(input("liters of ice cream consumed per year?"))
datingDataMat,datingLabels=file2matrix('datingTestSet.txt')
normMat,ranges,minval=autoNorm(datingDataMat)
inArr=array([ffMiles,percentTats,iceCream])
classifierResult=classify((inArr-minval)/ranges,normMat,datingLabels,3)
print("You will probably like this person:",resultList[classifierResult-1])

与书中不一样的就是，raw_input在3.4版本中直接被Input替代咯。

输出的结果：



KNN还有最后一小部分，放在part3中。

=====================================================================

小插曲：想在IDE里头自己写个二维数组试一下MIN函数

被自己蠢哭……

>>> a=[1,2,3;4,5,6;7,8,9]

SyntaxError: invalid syntax

>>> a=[[1 2 3],[4 5 6],[7 8 9]]

SyntaxError: invalid syntax

>>> a=[[1 2 3][4 5 6][7 8 9]]

SyntaxError: invalid syntax

>>> a={[1 2 3],[4 5 6],[7 8 9]}

SyntaxError: invalid syntax

>>> a=[[1,2,3],[4,5,6],[7,8,9]]

>>> min(a)]

SyntaxError: invalid syntax

>>> min(a)

[1, 2, 3]

不要告诉我未来老板~~~~~~~~~~~~~~~~~~~~~~~

=======================================================================

实验中所需数据集，可以从这里下载：

《机器学习实战》数据集及源代码