机器学习实战--最简单算法--KNN算法(k-近邻算法)
2017-11-08 18:57
387 查看
参考书籍--《机器学习实战》
k-近邻算法(一下简称knn算法)是机器学习中最简单的算法,通过计算待预测分类点到已知类别点之间的距离,通过距离的远近来分类带预测分类点,越近表示这两种点的类别越近。
优点:精度高,对异常值不敏感
缺点:计算复杂度高(不适合数据量较大的分类),空间复杂度较高
knn算法属于有监督学习算法,每次对数据分类时都要对所有的数据进行计算,所以有计算复杂度的问题。
待测数据标签类别的选定:
1、指定参考点距离待测点的最近的个数n
2、对n中标签类别进行统计,哪类标签占的比重多,待分类的数据就属于哪一类别。
思路:
1、数据样本A
对应的标签B 距离最近点个数为n
2、带预测的数据c
3、遍历c到A中每个点的距离,计算结果记录为E。
4、对距离结果E经行从小到大的排序。
5、取结果E中前n个记录,对其进行类别统计。
6、对上一步骤5的进行分析,哪一类别比重大,则该待测数据就属于哪一类别。
Python代码实现:
k-近邻算法(一下简称knn算法)是机器学习中最简单的算法,通过计算待预测分类点到已知类别点之间的距离,通过距离的远近来分类带预测分类点,越近表示这两种点的类别越近。
优点:精度高,对异常值不敏感
缺点:计算复杂度高(不适合数据量较大的分类),空间复杂度较高
knn算法属于有监督学习算法,每次对数据分类时都要对所有的数据进行计算,所以有计算复杂度的问题。
待测数据标签类别的选定:
1、指定参考点距离待测点的最近的个数n
2、对n中标签类别进行统计,哪类标签占的比重多,待分类的数据就属于哪一类别。
思路:
1、数据样本A
对应的标签B 距离最近点个数为n
2、带预测的数据c
3、遍历c到A中每个点的距离,计算结果记录为E。
4、对距离结果E经行从小到大的排序。
5、取结果E中前n个记录,对其进行类别统计。
6、对上一步骤5的进行分析,哪一类别比重大,则该待测数据就属于哪一类别。
Python代码实现:
from numpy import * import operator test = [0,0] group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ["A", "A", "B", "B"] n = 2 dataSetSize = group.shape[0] diffMat = tile(test,(dataSetSize,1)) - group #distances sqDifffMat = diffMat**2 sqDistances = sqDifffMat.sum(axis=1) distance = sqDistances**0.5 #sort sortedDistIndicies = distance.argsort() classCount = {} for i in range(3): classCount[labels[sortedDistIndicies[i]]] = classCount.get(labels[sortedDistIndicies[i]], 0) + 1 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) print "Type is :", sortedClassCount[0][0]
相关文章推荐
- Python 学习笔记(Machine Learning In Action)K-近邻算法(KNN)机器学习实战
- 机器学习实战之近邻算法kNN
- 机器学习实战2.2示例: 使用k-近邻算法改进约会网站的配对效果
- 机器学习实战之k-近邻算法(3)---如何可视化数据
- 机器学习实战第二章——学习KNN算法,读书笔记
- 机器学习实战(一)k-近邻算法
- 机器学习实战学习笔记 一 k-近邻算法
- 机器学习实战-第二章(k-近邻算法)
- 机器学习之K-近邻算法(kNN算法)
- 机器学习实战——python实现knn算法
- 机器学习实战之KNN算法识别手写数字_代码注释
- 机器学习实战之k-近邻算法(2)---python简单版
- 机器学习实战-KNN算法实现及遇到的问题总结
- 机器学习实战 k-近邻算法
- 机器学习实战之kNN算法
- 机器学习实战之k-近邻算法(5)--- 完整版约会网站数据分类
- 机器学习实战之KNN算法详解
- 机器学习实战笔记 k-近邻算法
- 机器学习实战 - K-近邻算法
- 机器学习实战-kNN算法 学习随手记