文本聚类算法之K-means算法的python实现

一、算法简介

算法接受参数k，然后将事先输入的n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得的一个“中心对象”来进行计算的。

基本思想：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

算法描述：

（1）适当选择c个类的初始中心

（2）在第k次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的中心所在的类。

（3）利用均值等方法更新该类的中心值。

（4）对于所有的c个聚类中心，如果利用（2）（3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

二、实验

实验数据集来自于网上，数据文件testSet.txt 中的内容如下：

1.658985      4.285136
-3.453687     3.424321
4.838138      -1.151539
-5.379713     -3.362104
0.972564      2.924086
-3.567919     1.531611
0.450614      -3.302219
-3.487105     -1.724432
2.668759      1.594842
-3.156485     3.191137
3.165506      -3.999838
-2.786837     -3.099354
4.208187      2.984927
-2.123337     2.943366
0.704199      -0.479481
-0.392370     -3.963704
2.831667      1.574018
-0.790153     3.343144
2.943496      -3.357075
-3.195883     -2.283926
2.336445      2.875106
-1.786345     2.554248
2.190101      -1.906020
-3.403367     -2.778288
1.778124      3.880832
-1.688346     2.230267
2.592976      -2.054368
-4.007257     -3.207066
2.257734      3.387564
-2.679011     0.785119
0.939512      -4.023563
-3.674424     -2.261084
2.046259      2.735279
-3.189470     1.780269
4.372646      -0.822248
-2.579316     -3.497576
1.889034      5.190400
-0.798747     2.185588
2.836520      -2.658556
-3.837877     -3.253815
2.096701      3.886007
-2.709034     2.923887
3.367037      -3.184789
-2.121479     -4.232586
2.329546      3.179764
-3.284816     3.273099
3.091414      -3.815232
-3.762093     -2.432191
3.542056      2.778832
-1.736822     4.241041
2.127073      -2.983680
-4.323818     -3.938116
3.792121      5.135768
-4.786473     3.358547
2.624081      -3.260715
-4.009299     -2.978115
2.493525      1.963710
-2.513661     2.642162
1.864375      -3.176309
-3.171184     -3.572452
2.894220      2.489128
-2.562539     2.884438
3.491078      -3.947487
-2.565729     -2.012114
3.332948      3.983102
-1.616805     3.573188
2.280615      -2.559444
-2.651229     -3.103198
2.321395      3.154987
-1.685703     2.939697
3.031012      -3.620252
-4.599622     -2.185829
4.196223      1.126677
-2.133863     3.093686
4.668892      -2.562705
-2.793241     -2.149706
2.884105      3.043438
-2.967647     2.848696
4.479332      -1.764772
-4.905566     -2.911070

初始设置了k=4个质心

python代码如下：

# coding=utf-8

from numpy import *
from numpy.random.mtrand import power

def loadDataSet(fileName):  # 文件的导入
dataMat = []
fr = open(fileName)
for line in fr.readlines():
curLine = line.strip().split('\t')  # strip()删除开头和结尾的空白符(包括'\n', '\r', '\t', ' ')
fltLine = map(float, curLine)  # map对curLine列表使用float函数，float将整数和字符串转换成浮点数
dataMat.append(fltLine)
return dataMat

# 计算两个向量的距离，用的是欧几里的距离
def distEclud(vecA, vecB):  # 计算欧式距离
# vecA,vecB都是numpy的matrix类型
vecC = vecA - vecB
# 对每个元素求平方
vecC = multiply(vecC, vecC)

row = shape(vecC)[0]  # 行数
col = shape(vecC)[1]  # 列数

result = 0
for i in range(row):
for j in range(col):
result += vecC[i, j]

return sqrt(result)

def randCent(dataSet, k):  # 构建一个包含k个随机质心的集合
n = shape(dataSet)[1]  # 读取dataSet的列数，2列
centroids = mat(zeros((k, n)))  # k*2
for j in range(n):  # 对每一列
minJ = min(dataSet[:, j])   # dataSet[:, j] 取所有数据的第j列 min()返回最小值
rangeJ = float(max(dataSet[:, j]) - minJ)
centroids[:, j] = minJ + rangeJ * random.rand(k, 1)
return centroids   # 共k行，两列，每行是每个质心的x,y

def kMeans(dataSet, k, distMeas = distEclud, createCent=randCent):
m = shape(dataSet)[0]  # 读取dataSet的行数，即一共多少个点
clusterAssment = mat(zeros((m, 2)))  # 记录每个点前一次离哪个质心最近，第1列是质心的下标，第2列是最小距离的平方
centroids = createCent(dataSet, k)  # 构建一个随机取的k个质心的集合
clusterChanged = True   # 标记簇是否改变了，是否已收敛
while clusterChanged:
clusterChanged = False
for i in range(m):  # 总数据中给的每个点
minDist = inf  # 正无穷
minIndex = -1
for j in range(k):  # 每个质点
distJI = distMeas(centroids[j, :], dataSet[i, :])  # 计算每个点到每个质心的欧式距离
if distJI < minDist:   # 记录该点到哪个质心的距离最近
minDist = distJI
minIndex = j
if clusterAssment[i, 0] != minIndex:
clusterChanged = True
clusterAssment[i, :] = minIndex, minDist**2
# print centroids
for cent in range(k):
ptsInClust = dataSet[nonzero(clusterAssment[:, 0].A == cent)[0]]
centroids[cent, :] = mean(ptsInClust, axis=0)
return centroids, clusterAssment

# 可视化展示
def show(dataSet, k, centroids, clusterAssment):
from matplotlib import pyplot as plt
numSamples, dim = dataSet.shape  # 求行数和列数
mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
for i in xrange(numSamples):  # 使用range生成的是一个列表，xrange生成的是一个生成器，每次调用的时候才取出来
markIndex = int(clusterAssment[i, 0])
plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])

mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
for i in range(k):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)
plt.show()

dataMat = mat(loadDataSet('testSet.txt'))
myCentroids, clusterAssing = kMeans(dataMat, 6)
# myCentroids是k=4个质心的信息，x,y值
# 记录每个点前一次离哪个质心最近，第1列是质心的下标，第2列是最小距离的平方
show(dataMat, 4, myCentroids, clusterAssing)
# 画图展示

画出的图如下所示：