机器学习实战之K-近邻算法总结和代码解析

            机器学习实战是入手机器学习和python实战的比较好的书，可惜我现在才开始练习代码！先声明：本人菜鸟一枚，机器学习的理论知识刚看了一部分，python的知识也没学很多，所以写代码调试的过程很痛可！但是还是挨个找出了问题所在，蛮开心的！看了很多大牛分享的经验说，记住算法和模型的特点以及优缺点、适用场景是非常重要的，所以借着刚看完kNN的热度，赶紧把这些总结一下啦！

      特点： （1）kNN算法是最简单最容易理解的机器学习算法，没有明显的训练过程。所做只是将数据存储起来，没

                        有训练时间，当需要对测试样本处理的时候才会计算的。

               （2）我们通常看到的kNN算法处理的都是分类的问题，实际上kNN算法也可以做回归的问题。对于分类

                        问题，一般采用多数表决的方法进行预测，而对于回归问题， 则将k个最近邻的训练实例的平均值

                        作为预测值。               

               （3）kNN算法的三要素： k值选择、距离度量以及决策规则

                                        1> k值选择较大或者较小都会产生不同的优点或者缺点，而且k值的选择会对结果产生重大

                                             的影响。但是应用中，k值一般取一个较小的数值，并且通常采取交叉验证法来选取最优

                                             的k值。                                            

                                        2>距离度量之前一定要做归一化处理。计算距离有很多种方法，而且不同的距离公式算出来

                                            的最近k值是不同的。一般情况下，选择欧式距离作为距离度量。

                                        3>分类决策规则通常选择多数表决法。

                    （4）当k=1时称为“最近邻分类器”，最近邻分类器虽然很简单，但是它的泛化错误率不超过贝叶斯最优

                             分类器的两倍。

        机器学习实战中的代码及解析：（因为本人python水平太差，所以开始的时候好多代码只能看懂大概，但是细分析分析不出来结果。但是网上有大神写出来了http://lib.csdn.net/snippet/machinelearning/43106    我又做了点修改和补充，代码都是可以执行的  Ps:不知道为什么下载的源码包里面的代码净出现问题，所以小的地方也做了代码修改哦！）

#coding:utf-8

from numpy import *
from os import listdir   # os是和操作系统联系密切的一个模块
import operator           #运算符模块

#k-近邻算法
def classify0(inX,dataSet,labels,k):

dataSetSize=dataSet.shape[0]   #shape是array的一个属性，返回矩阵array的各个维度大小，shape(0)是矩阵第一列的数据个数

#距离计算
diffMat=tile(inX,(dataSetSize,1))-dataSet  # 求差（求出的结果也是一个矩阵），（tile函数表示将inX在x轴上重复dataSetSize次，y轴上重复1次，注意向量是
#横着的，每个行向量的里面元素的个数代表了维数）

sqDiffMat=diffMat**2                       #求平方（结果还是矩阵）

sqDistances=sqDiffMat.sum(axis=1)          #对平方求和（求出的结果是一个列向量），sum函数,axis=1，表示将[]里面数相加（行相加）,axis=0表示(列相加)，
#axis=None(行列相加)

distances=sqDistances**0.5                 #对平方和开方（结果还是列向量），此处算完之后就是距离

#排序
sortedDistIndicies=distances.argsort()    #返回distances排序的索引，用于下面查找标签

classCount={}    #定义元字典

#选择距离最小的k个点
for i in range(k): #  遍历前k个元素

voteIlabel=labels[sortedDistIndicies[i]]  #获得前k个元素的标签

classCount[voteIlabel]=classCount.get(voteIlabel,0)+1     #统计标签个数

#排序
sortedClassCount=sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True)  # 对标签字典根据对应个数进行降序排序

return sortedClassCount[0][0]  #返回个数最多的标签和对应个数

#小试牛刀的小代码
def createDataSet():

group=array([[1.0,1.0],[1.0,1.0],[0,0],[0,0.1]])

labels=['A','A','B','B']

return group,labels

#将文本记录转换为Numpy的解析程序
def file2matrix(filename):

fr=open(filename)     #打开文件

arrayOLines=fr.readlines()   #获取文件所有行

numberOfLines=len(arrayOLines)     #得到文件行数

returnMat=zeros((numberOfLines,3))   #先用零元素创建需要返回的numpy矩阵，（行数，列数）

classLabelVector=[]    # 创建空的标签列表

index=0

for line in arrayOLines:

line=line.strip()   #截取掉尾部的回车字符

listFromLine=line.split('\t')  #用‘\t’作为分隔符将整行元素分割成元素列表，将一行数据按空进行分割，

returnMat[index,:]=listFromLine[0:3] #选取列表前三个元素到=矩阵中

classLabelVector.append(listFromLine[-1]) #将列表的最后一列存储到向量中

index += 1

return returnMat,classLabelVector  #返回数据集矩阵和对应的标签向量

#下面的是用命令行运行的代码
#    import matplotlib
#    import matplotlib.pyplot as plt
#   fig=plt.figure()
#  ax=fig.add_subplot(111)
#  ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
# 上句替换为：ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))
#  plt.show()

#归一化特征值
def autoNorm(dataSet):

minVals = dataSet.min(0)  #找到数据集中的最小值（实际上应该是样本数据中的一列中的最小值，参数0就代表这个，下同），这样说的话minVals和maxVals都应该
#是一个行向量（1*n)

maxVals = dataSet.max(0)   #找到数据集中的最大值

ranges = maxVals - minVals    #得到数据的范围差值

normDataSet = zeros(shape(dataSet))     # 定义空的要返回的归一化后的矩阵，该矩阵和传入的数据集是一样的大小

m = dataSet.shape[0]       #得到矩阵第一行的数据个数，也就是维数

normDataSet = dataSet - tile(minVals, (m,1))  #数据集与最小值相减(title()函数将按照括号中的参数制作对应大小的矩阵，用给定的minVals内容来填充

normDataSet = normDataSet/tile(ranges, (m,1))   #除以范围值之后就是归一化的值了。（注意是矩阵除法）

return normDataSet, ranges, minVals

#分类器针对约会网站的测试代码
def datingClassTest():

hoRatio = 0.10      #测试所占的比例

datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')       #将文件中的数据转换为矩阵形式和提取出标签矩阵

normMat, ranges, minVals = autoNorm(datingDataMat)    #对提取出的矩阵数据归一化处理

m = normMat.shape[0]   #获得数据总的条数

numTestVecs = int(m*hoRatio)    #得出作为测试的数据个数

errorCount = 0.0      #初始化错误个数为0

for i in range(numTestVecs):  #对测试的数据进行遍历

classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)    # 对数据进行分类

print "the classifier came back with: %s, the real answer is: %s" % (classifierResult, datingLabels[i])   #输出分类结果和实际的类别(之前的代码
#有问题啊，要将%d,改为%s)

if (int(classifierResult) != int(datingLabels[i])): errorCount += 1.0    # 如果分类结果与实际结果不一致 ，错误数加1

print "the total error rate is: %f" % (errorCount/float(numTestVecs))   # 输出错误率

print errorCount    #输出错误总数

#约会网站预测函数
def classiyPerson():

resultList = ['not at all','in small doses','in large doses']         # 定义分类结果的类别

percentTats = float(raw_input("percentage of time spent playing video games?"))    # 读取输入数据

ffMiles = float(raw_input("frequent flier miles earned per year?"))     # 读取输入数据

iceCream = float(raw_input("liters of ice cream consumed per year?"))     # 读取输入数据

datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')         # 从文件中读取已有数据

normMat,ranges,minVals = autoNorm(datingDataMat)                     # 对数据进行归一化

inArr =array([ffMiles,percentTats,iceCream])                         # 将单个输入数据定义成一条数据

classifierResult = classify0(inArr,datingDataMat,datingLabels,3)      # 对输入数据进行分类

print 'You will probably like this person: %s' % (resultList[int(classifierResult) - 1])        # 输出预测的分类类别

# 将单个手写字符文件变成向量
def img2vector(filename):

returnVect = zeros((1,1024))   #创建要返回的1*1024的矩阵并初始化为0

fr = open(filename)    # 打开文件

for i in range(32):    #从0到31行遍历

lineStr = fr.readline()   #读取一行（自动成为一个列表）

for j in range(32):  #从0到31列

returnVect[0,32*i+j] = int(lineStr[j])   #将一行中的每个元素复制到要返回的矩阵中

return returnVect   #返回该1*1024的矩阵

# 手写字符识别测试
def handwritingClassTest():

hwLabels = []      # 定义手写字符标签(类别)

trainingFileList = listdir('trainingDigits')          # 列出目录下所有的文件

m = len(trainingFileList)            # 计算训练文件的数目

trainingMat = zeros((m,1024))        # 定义手写字符数据矩阵

for i in range(m):      # 依次读取每个文件

fileNameStr = trainingFileList[i]        # 依次获得文件名

fileStr = fileNameStr.split('.')[0]     # 对文件名进行分割

classNumStr = int(fileStr.split('_')[0])   # 获得文件名中的类标签

hwLabels.append(classNumStr)    # 把类标签放到hwLabels中

trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)     # 把文件变成向量并赋值到trainingMat这个矩阵中

testFileList = listdir('testDigits')       # 列出测试目录下的所有文件

errorCount = 0.0        # 定义错误数

mTest = len(testFileList)       # 获得测试文件数目

for i in range(mTest):     # 遍历测试文件

fileNameStr = testFileList[i]         # 定义测试文件名

fileStr = fileNameStr.split('.')[0]        # 对测试文件名进行分割

classNumStr = int(fileStr.split('_')[0])       # 获得测试文件的类标签

vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)          # 将测试文件转换成向量

classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)      # 进行分类

print "the classifier came back with: %d, the real answer is: %d" % (int(classifierResult), int(classNumStr))       # 输出预测类别和实际类别

if (int(classifierResult) != int(classNumStr)): errorCount += 1.0      # 如果二者不一致，累加错误数量

print "\nthe total number of errors is: %d" % errorCount       # 输出分类错误的数目

print "\nthe total error rate is: %f" % (errorCount/float(mTest))          # 输出分类的错误率

     还有一部分的解析是关于不熟悉的python模块函数的，我单独做了整理。之后有时间再传上来吧！