机器学习----K-近邻算法(Python代码详解)
2016-10-10 19:56
495 查看
本博文的内容主要是在自学《Machine Learning in Action》的中文版《机器学习实战》的小结,原书中对调用的一些模块的函数并没有做出过多的解释,本文进行了总结和补充。
距离采用欧式距离计算公式,计算两个向量点xA和xB之间的距离:
d=(xA0−xB0)2+(xA1−xB1)2−−−−−−−−−−−−−−−−−−−−−−−√
例如,点(0,0)与点(1,2)之间的距离计算为:
(1−0)2+(2−0)2−−−−−−−−−−−−−−−√
如果数据集存在4个特征值,则点(1,0,0,1)与(7,6,9,4)之间的距离计算为:
(7−1)2+(6−0)2+(9−0)2+(4−1)2−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−√
优点:精度高,对异常值不敏感,无数据输入假定。
缺点 : 计算复杂度高,空间复杂度高。
K-近邻算法
根据K-近邻算法的原理,其代码逻辑如下:
计算已知类别属性的数据集中的每个点与当前点之间的距离;
按照距离从小到大是次序进行排序;
选取与当前距离最小的K个点;
确定K个点所在类别的出现频率;
返回前K个点出现频率最高的类别作为当前点的预测类别;
如果输入参数intX=[0,0],则该程序给出的分类结果因该为B
K-近邻算法
一、算法概述
K-近邻算法就是采用测量不同特征值之间的距离进行分类。距离采用欧式距离计算公式,计算两个向量点xA和xB之间的距离:
d=(xA0−xB0)2+(xA1−xB1)2−−−−−−−−−−−−−−−−−−−−−−−√
例如,点(0,0)与点(1,2)之间的距离计算为:
(1−0)2+(2−0)2−−−−−−−−−−−−−−−√
如果数据集存在4个特征值,则点(1,0,0,1)与(7,6,9,4)之间的距离计算为:
(7−1)2+(6−0)2+(9−0)2+(4−1)2−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−√
优点:精度高,对异常值不敏感,无数据输入假定。
缺点 : 计算复杂度高,空间复杂度高。
Python代码实现
基本算法实现
使用Python准备数据from numpy import * import operator def creatDataset(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #数据集 labels=['A','A','B','B'] #标签 return group,labels
K-近邻算法
根据K-近邻算法的原理,其代码逻辑如下:
计算已知类别属性的数据集中的每个点与当前点之间的距离;
按照距离从小到大是次序进行排序;
选取与当前距离最小的K个点;
确定K个点所在类别的出现频率;
返回前K个点出现频率最高的类别作为当前点的预测类别;
def classify0(intX,dataSet,labels,k): #1.1获得dataSet矩阵行数 dataSetSize=dataSet.shape[0] #1.1tile函数通过给定参数构建数组 diffMat=tile(intX,(dataSetSize,1))-dataSet #1.1数组中每个元素进行平方 sqDiffMat=diffMat ** 2 #1.1对多维数组第一轴进行相加求和 sqDistances=sqDiffMat.sum(axis=1) distances=sqDistances ** 0.5 #1.1开平方 #2.1返回排序数组的索引 sortedDistIndicies=distances.argsort() classCount={} #3.1 for i in range(k): #4.1获得从小到大排序后依次的标签 voteIlabel = labels[sortedDistIndicies[i]] #4.2记录前K个元素中不同标签出现的次数,classCount应为 字典类型 classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #4.3按标签出现次数从多到少进行排序 sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse = True) #5 return sortedClassCount[0][0]
如果输入参数intX=[0,0],则该程序给出的分类结果因该为B
相关文章推荐
- 机器学习经典算法详解及Python实现--K近邻(KNN)算法
- 机器学习经典算法详解及Python实现--K近邻(KNN)算法
- 机器学习经典算法详解及Python实现--K近邻(KNN)算法
- 机器学习:K-近邻算法原理与Python代码实现
- 机器学习实战学习,代码详解(K-近邻算法)
- 机器学习经典算法详解及Python实现–K近邻(KNN)算法
- Python机器学习实战--(k-近邻算法)
- 机器学习经典算法详解及Python实现–决策树
- 机器学习经典算法详解及Python实现---Logistic回归(LR)分类器
- Python语言实现机器学习的K-近邻算法
- 机器学习经典算法详解及Python实现--元算法、AdaBoost
- python机器学习之 K-近邻算法
- 机器学习 & python k-近邻算法
- 机器学习经典算法详解及Python实现--决策树(Decision Tree)
- 机器学习经典算法详解及Python实现--线性回归(Linear Regression)算法
- python实现的 K-近邻算法代码详细解释
- 数据挖掘之Apriori算法详解和Python实现代码分享
- 机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树
- 机器学习经典算法详解及Python实现--聚类及K均值、二分K-均值聚类算法
- 机器学习实战代码学习(K-近邻算法)