机器学习实战第二章——KNN算法(源码解析)

#coding=utf-8
'''
Created on 2015年12月29日

@author: admin
'''
from numpy import array
from numpy import tile
from numpy import zeros
import operator
from os import listdir

# 创建数据集，并返回数据集和分类标签
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels

# 对新数据进行分类
def classify0(inX,dataSet,labels,k):
#dataSet.shape[0]是dataSet第一维的数目
dataSetSize = dataSet.shape[0]
#要分类的新数据与原始数据做差
diffMat = tile(inX,(dataSetSize,1)) - dataSet
#求差的平方
sqDiffMat = diffMat**2
#求差的平方的和
sqDistance = sqDiffMat.sum(axis=1)
#求标准差
distances = sqDistance**0.5
#距离排序
sortDistIndicies = distances.argsort()
#定义元字典
classCount = {}
#遍历前k个元素
for i in range(k):
#获得前k个元素的标签
voteIlabel = labels[sortDistIndicies[i]]
#计算前k个数据标签出现的次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#对得到的标签字典按降序排列
sortedClassCount =sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)
#返回出现次数最多的标签
return sortedClassCount[0][0]

# 读取文本文件中的数据
def file2matrix(filename):
# 打开文件
fr = open(filename)
# 计算文本文件的行数
numberOfLines = len(fr.readlines())
# 创建返回的数据矩阵
returnMat = zeros((numberOfLines,3))
# 创建类标签
classLabelVector = []
# 打开文件
fr = open(filename)
# 定义索引
index = 0
# 读取文件的每一行并处理
for line in fr.readlines():
# 去除行的尾部的换行符
line = line.strip()
# 将一行数据按空进行分割
listFromLine = line.split('\t')
# 0：3列为数据集的数据
returnMat[index,:] = listFromLine[0:3]
# 最后一列为数据的分类标签
classLabelVector.append(int(listFromLine[-1]))
# 索引加1
index += 1
# 返回数据集和对应的类标签
return returnMat,classLabelVector

# 归一化函数
def autoNorm(dataSet):
# 求数据矩阵每一列的最小值
minVals = dataSet.min(0)
# 求数据矩阵每一列的最大值
maxVals = dataSet.max(0)
# 求数据矩阵每一列的最大最小值差值
ranges = maxVals - minVals
#    normDataSet = zeros(shape(dataSet))
# 返回数据矩阵第一维的数目
m = dataSet.shape[0]
# 求矩阵每一列减去该列最小值，得出差值
normDataSet = dataSet - tile(minVals,(m,1))
# 用求的差值除以最大最小值差值，即数据的变化范围，即归一化
normDataSet = normDataSet / tile(ranges,(m,1))
# 返回归一化后的数据，最大最小值差值，最小值
return normDataSet,ranges,minVals

# 分类器测试函数
def datingClassTest():
# 测试集所占的比例
hoRatio = 0.10
# 从文件中读取数据
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
# 对数据进行归一化
normMat,ranges,minVals = autoNorm(datingDataMat)
# 求数据的条数
m = normMat.shape[0]
# 求测试集的数据数目
numTestVecs = int(m*hoRatio)
# 定义误判数目
errorCount = 0.0
# 对测试数据进行遍历
for i in range(numTestVecs):
# 对每一条数据进行分类
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],2)
# 输出分类结果和实际的类别
print "the classifer came back with: %d,the real answer is: %d" %(classifierResult,datingLabels[i])
# 如果分类结果与实际结果不一致
if(classifierResult != datingLabels[i]):
# 误分类数加1
errorCount += 1.0
# 输出错误率
print "the total error rate is: %f" %(errorCount/float(numTestVecs))

# 对人分类
def classiyPerson():
# 定义分类结果的类别
resultList = ['not at all','in small doses','in large doses']
# 读取输入数据
percentTats = float(raw_input("percentage of time spent playing video games?"))
# 读取输入数据
ffMiles = float(raw_input("frequent flier miles earned per year?"))
# 读取输入数据
iceCream = float(raw_input("liters of ice cream consumed per year?"))
# 从文件中读取已有数据
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
# 对数据进行归一化
normMat,ranges,minVals = autoNorm(datingDataMat)
# 将单个输入数据定义成一条数据
inArr =array([ffMiles,percentTats,iceCream])
# 对输入数据进行分类
classifierResult = classify0(inArr,datingDataMat,datingLabels,3)
# 输出预测的分类类别
print "You will probably like this person:",resultList[classifierResult - 1]

# 将单个手写字符文件变成向量
def img2vector(filename):
# 定义要返回的向量
returnVect = zeros((1,1024))
# 打开文件
fr = open(filename)
# 遍历文件中的每一行和每一列
for i in range(32):
# 读取一行
lineStr = fr.readline()
# 对读取数据赋值到returnVect中
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
# 返回向量
return returnVect
# 手写字符识别测试
def handwritingClassTest():
# 定义手写字符标签(类别)
hwLabels = []
# 列出目录下所有的文件
trainingFileList = listdir('digits/trainingDigits')
# 计算文件的数目
m = len(trainingFileList)
# 定义手写字符数据矩阵
trainingMat = zeros((m,1024))
# 依次读取每个文件
for i in range(m):
# 定义文件名
fileNameStr = trainingFileList[i]
# 对文件名进行分割
fileStr = fileNameStr.split('.')[0]
# 获得文件名中的类标签
classNumStr = int(fileStr.split('_')[0])
# 把类标签放到hwLabels中
hwLabels.append(classNumStr)
# 把文件变成向量并赋值到trainingMat中
trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)
# 列出测试目录下的所有文件
testFileList = listdir('digits/testDigits')
# 定义错误率
errorCount = 0.0
# 定义测试文件数目
mTest = len(testFileList)
# 遍历测试
for i in range(mTest):
# 定义测试文件名
fileNameStr = testFileList[i]
# 对测试文件名进行分割
fileStr = fileNameStr.split('.')[0]
# 获得测试文件的类标签
classNumStr = int(fileStr.split('_')[0])
# 将测试文件转换成向量
vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
# 进行分类
classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)
# 输出预测类别和实际类别
print "the classifier came back with:%d,the real answer is %d" % (classifierResult,classNumStr)
# 如果二者不一致，累加错误数量
if(classifierResult != classNumStr):
errorCount += 1.0
# 输出分类错误的数目
print "\nthe total number of errors is:%d" % errorCount
# 输出分类的错误率
print "\nthe total error rate is:%f" % (errorCount/float(mTest))