机器学习算法之KNN算法

描述：KNN算法是简单暴力的机器学习算法，分类回归都行。在分类问题中管他线性可分还是线性不可分，就是干，每次分类，测试向量都要与全部训练数据算一遍距离，计算量非常大。当数据集非常庞大时，就很难办了，但可以通过k-d树或者ball-tree来加速查找k近邻。k值的确定也是个问题，一般采用交叉验证来确定，k=1,2,3,4…分别计算，找出错误率最小的k，又是暴力计算。

算法原理：已知一个测试样本，计算该样本与训练数据集的所有距离，挑选出距离最小的k个样本，统计这k个样本的标签出现的次数，出现次数最多的标签就是测试样本的预测结果。

Python实现KNN代码：

#knn分类，没有训练过程，也没有模型，每次测试都要使用整个数据集
def KnnClassify(testvec,trainset,labels,k):
m=trainset.shape[0]#获得训练数据集的行数
diffmat=tile(testvec,(m,1))-trainset#求距离
sqdiff=diffmat**2
diffsum=sqdiff.sum(axis=1)#按行求和
distance=diffsum**0.5
sortindex=distance.argsort()#快速排序，从小到大，返回下标
classcount={}#定义字典，统计k近邻里出现的类的次数
for i in range(k):
tmpclass=labels[sortindex[i]]
if classcount.has_key(tmpclass):
classcount[tmpclass]+=1
else:
classcount[tmpclass]=1
sortclass=sorted(classcount.iteritems(),key=lambda d:d[1],reverse=True)#对字典按value进行降序排列
return sortclass[0][0]