数据挖掘十大经典算法之二：K-means

概念和原理

k-means是无监督聚类算法，主要是根据样本的相似度或者样本之间的距离进行自动分类。

首先，初始化聚类中心，可以随机选择K个样本，也可以固定选择其中的k个样本作为初始化的聚类中心。

其次，计算各样本到所有的聚类中心的相似度（此处用距离表示），将样本分到与聚类中心相似的最大即距离最小的中心所在的类中。

再次，更新聚类中心，可以通过样本的平均值计算

最后，循环迭代，直至满足停止条件。

Code

import numpy as np
from operator import itemgetter

def loadData(filename):
dataset = []
file = open(filename)
for line in file.readlines():
dataset.append(map(float,line.strip().split('\t')))
return np.array(dataset)

def computeDistence(dataset,centre):
return np.sqrt(((dataset-centre)**2).sum(axis=1))

def computeCentre(dataset,k):
n = dataset.shape[1]
centreSet = np.zeros((k,n))
minvalue = dataset.min(axis=0)
maxvalue = dataset.max(axis=0)
chageRange = maxvalue-minvalue
centreSet = minvalue + chageRange*np.random.rand(k,2)
return centreSet

def kmeans(dataset,k):
m = dataset.shape[0]
clusterResult = np.zeros((m,3))
centres =computeCentre(dataset,k)
clusterChanged = True
while clusterChanged:
clusterChanged=False
for i in range(m):
distence = computeDistence(dataset[i],centres)
indexes, sortedDistence = zip(*sorted(enumerate(distence), key=itemgetter(1)))
if(clusterResult[i,1] !=indexes[0]):
clusterChanged = True
clusterResult[i,:] = i,indexes[0],sortedDistence[0]
for i in range(k):
tmp = dataset[np.array((clusterResult[clusterResult[:,1] == i])[:,0]).astype(np.int32)]
meanvalue = np.mean(tmp,axis=0)
centres[i,:] = np.mean(tmp,axis=0)
return centres,clusterResult

def main():
dataset = loadData('testSet.txt')
centres = computeCentre(dataset,4)
centres,clusterResult = kmeans(dataset,4)

if __name__ == '__main__':
main()