机器学习实战之K-近邻算法

K-近邻算法工作原理

        存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的数据进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，我们只选取样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

K-邻近算法代码

#    inX: 用于分类的输入向量
#    dataSet: 训练样本集
#    lables: 标签向量
def classify0(inX, dataSet, labels, k):
#取得样本集个数
dataSetSize = dataSet.shape[0]
#计算待分类的输入向量与样本集中每个数据的距离
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis = 1)
distances = sqDistances ** 0.5
#argsort函数的作用是返回一个索引列表，该列表使得
#distance[sortedDistIndices[0]]<distance[sortedDistIndices[1]]<...
sortedDistIndices = distances.argsort()
classCount = {}
#统计前K个数据所属的分类，并记录每个类别中数据的个数，并返回数据最多的那个类别
for i in range(k):
voteIlabel = labels[sortedDistIndices[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),
reverse = True)
return sortedClassCount[0][0]

示例一：用K-近邻算法改进约会网站的配对效果

1、准备数据：从文本文件中解析数据

       约会网站的样本数据主要包含以下3种特征：

                 每年获得的飞行常客历程数

                 玩视频游戏所占时间百分比

                 每周消费的冰淇淋公升数

#   将待处理数据的格式变为分类器可以接受的格式
def file2matrix(filename):
fr = open(filename)
arrayOLines = fr.readlines()
#获得文件的行数
numberOfLines = len(arrayOLines)
#创建一个以零填充的矩阵，行数为文件的行数，列数为3
returnMat = zeros((numberOfLines, 3))
classLabelVector = []
index = 0
for line in arrayOLines:
line = line.strip()
listFromLine = line.split('\t')
#将待处理数据每行前三个数存在矩阵中的一行中
returnMat[index,:] = listFromLine[0:3]
#将待处理数据每行最后一个数存在类别向量中
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat, classLabelVector