简单聚类方法K-means方法的实现

实例：根据药品的特征对药品进行分类

实现：根据python实现的K-means聚类

1.1 归类

聚类属于非监督学习，无类别标记

1.2 K-means算法

1.Clustering中的经典算法，数据挖掘十大经典算法之一

2.算法接受参数K，然后将事先输入的n个对象划分为K个聚类以便使获得的聚类满足：同一聚类的对象 相似度比较高，而不同聚类的对象相似度较小。

3.算法思想：

以空间当中的K个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类效果。

4.算法描述

（1）适当选择C个类的初始中心

（2）在第K次迭代中，对任意一个样本，求其到C各中心的距离，将该样本归到距离最短的中心所在的类；

（3）利用均值等方法更新该类的中心值

（4）对于所有的C个聚类中心，如果利用（2）（3）的迭代算法更新之后，值保持不变，或者达到一定的迭代次数，或者分类的变化小于一个阈值，则迭代结束，否则继续迭代

5.算法流程





优点：速度快，简单

缺点：最终结果与初始点的选择相关，容易陷入局部最优，需要知道K值

代码实现：

#coding=utf-8
#简单聚类方法K-means方法的实现

import numpy as np
#数据集需要加一列
#参数：数据集，分为几类，迭代次数
def kmeans(X,k,maxIt):
#返回行列维度
numPoints,numDim = X.shape
#增加一列作为分类标记
dataSet = np.zeros((numPoints,numDim+1))
# 所有行，除了最后一列
dataSet[:,:-1] = X
#随机选取K行，包含所有列
centroids = dataSet[np.random.randint(numPoints,size = k),:]
#centroids = dataSet[0:2,:]
#给中心点分类进行初始化
centroids[:,-1] = range(1,k+1)
iterations = 0
oldCentroids = None

while not shouldStop(oldCentroids,centroids,iterations,maxIt):
print "iteration:\n",iterations
print "dataSet:\n", dataSet
print "centroids:\n", centroids
#不能直接用等号，不然会指向同一个变量
oldCentroids = np.copy(centroids)
iterations += 1
#根据数据集以及中心点对数据集的点进行归类
updateLabels(dataSet,centroids)
# 更新中心点
centroids = getCentroids(dataSet,k)
return dataSet
#实现函数循环结束的判断
#当循环次数达到最大值，或者中心点不变化就停止
def shouldStop(oldCentroids,centroids,iterations,maxIt):
if iterations > maxIt:
return True
return  np.array_equal(oldCentroids,centroids)
#根据数据集以及中心点对数据集的点进行归类
def updateLabels(dataSet,centroids):
#返回行（点数），列
numPoints,numDim = dataSet.shape
for i in range(0,numPoints):
#对每一行最后一列进行归类
dataSet[i,-1] = getLabelFromCLoseCentroid(dataSet[i,:-1],centroids)
#对比一行到每个中心点的距离，返回距离最短的中心点的label
def getLabelFromCLoseCentroid(dataSetRow,centroids):
#初始化label为中心点第一点的label
label = centroids[0,-1]
#初始化最小值为当前行到中心点第一点的距离值
#np.linalg.norm计算两个向量的距离
minDist  = np.linalg.norm(dataSetRow - centroids[0,:-1])
#对中心点的每个点开始循环
for i in range(1,centroids.shape[0]):
dist = np.linalg.norm(dataSetRow - centroids[i,:-1])
if dist < minDist:
minDist = dist
label = centroids[i,-1]
print "minDist",minDist
return label
# 更新中心点
#参数：数据集（包含标签），k个分类

def getCentroids(dataSet,k):
#初始化新的中心点矩阵
result = np.zeros((k,dataSet.shape[1]))
for i in range(1,k+1):
#找出最后一列类别为i 的行集,即求一个类别里面的所有点
oneCluster = dataSet[dataSet[:,-1]==i,:-1]
#axis = 0 对行求均值，并赋值
result[i-1,:-1] = np.mean(oneCluster,axis=0)
result[i-1,-1] = i
return result
x1 = np.array([1,1])
x2 = np.array([2,1])
x3 = np.array([4,3])
x4 = np.array([5,4])
testX = np.vstack((x1,x2,x3,x4))#将点排列成矩阵
print testX
result =  kmeans(testX,2,10)
print "final result:"
print result