python 机器学习KNN分类算法
2016-11-23 17:09
721 查看
k近邻算法是机器学习中最简单的算法,其可以做最基本的分类操作,伪代码如下:
对未知类别属性的数据集中的每个点依次执行以下操作:
(1)计算已知类别数据集中的每个点与当前点之间的距离;
(2)按照距离递增次序排序;
(3)选怒与当前点距离最小的k个点
(4)确定前k个点所在类别出现的频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。
具体python代码如下:
from numpy import *
import operator
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.iteritems(),
key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
if __name__ == '__main__':
group,labels = createDataSet()
result = classify0([1.2,1.5],group,labels,3)
print result
对未知类别属性的数据集中的每个点依次执行以下操作:
(1)计算已知类别数据集中的每个点与当前点之间的距离;
(2)按照距离递增次序排序;
(3)选怒与当前点距离最小的k个点
(4)确定前k个点所在类别出现的频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。
具体python代码如下:
from numpy import *
import operator
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.iteritems(),
key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
if __name__ == '__main__':
group,labels = createDataSet()
result = classify0([1.2,1.5],group,labels,3)
print result
相关文章推荐
- 用Python开始机器学习(4:KNN分类算法)
- python机器学习之KNN分类算法
- 用Python开始机器学习(4:KNN分类算法)
- 用Python开始机器学习(4:KNN分类算法)
- 用Python开始机器学习(4:KNN分类算法) sklearn做KNN算法 python
- 机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树
- python 实现 knn分类算法 (Iris 数据集)
- 用Python开始机器学习(2:决策树分类算法)
- K-Nearest Neighbor(KNN) 最邻近分类算法及Python实现方式
- 用Python开始机器学习(2:决策树分类算法)
- Python机器学习实战笔记之KNN算法
- 机器学习经典算法详解及Python实现---朴素贝叶斯分类及其在文本分类、垃圾邮件检测中的应用
- KNN分类算法--python实现
- 机器学习(二)k-近邻分类算法(kNN)
- Python KNN最近邻分类算法
- 步步学习之用python实战机器学习1-kNN (K-NearestNeighbors)算法(a)
- 机器学习经典算法详解及Python实现--K近邻(KNN)算法
- 用Python开始机器学习(2:决策树分类算法)
- 机器学习经典算法详解及Python实现–K近邻(KNN)算法
- [机器学习]kNN算法python实现(实例:数字识别)