【机器学习实战】10.k-means聚类算法（1）

这里主要记录对书上相关程序运行结果的一些展示。
程序：# -*- coding: utf-8 -*-
"""
Created on Fri Mar 30 10:42:00 2018

@author: ##
"""

from numpy import *
import matplotlib.pyplot as plt

def loadDataSet(filename):
'''
导入数据
'''
dataMat=[]
fr=open(filename)
for line in fr.readlines():
curLine=line.strip().split('\t')
#fltLine=map(float,curLine) #python2里返回列表，python3里返回迭代器
fitLine=[float(subLine) for subLine in curLine]
dataMat.append(fitLine)
return dataMat

def distEclude(vecA,vecB):
'''
量化误差指标，两向量的欧氏距离
'''
return sqrt(sum(power(vecA-vecB,2)))

def randCent(dataSet,k):
'''
构建包含k个质心的集合
'''
n=shape(dataSet)[1]
centroids=mat(zeros((k,n)))
for j in range(n):
minJ=min(dataSet[:,j])
rangeJ=float(max(dataSet[:,j])-minJ)
centroids[:,j]=minJ+rangeJ*random.rand(k,1)
return centroids

def kMeans(dataSet,k,distMeas=distEclude,createCent=randCent):
'''
kmeans主体算法

'''
m=shape(dataSet)[0]
clusterAssment=mat(zeros((m,2)))
centroids=createCent(dataSet,k) #随机选择质心
clusterChanged=True
g=0
while clusterChanged:
clusterChanged=False
g+=1
for i in range(m):
minDist=inf
minIndex=-1
#计算样本点到每一个质心的欧式距离，得到最小距离
for j in range(k):
distJI=distMeas(centroids[j,:],dataSet[i,:])
if distJI < minDist:
minDist=distJI
minIndex=j
if clusterAssment[i,0]!=minIndex:
clusterChanged =True
clusterAssment[i,:]=minIndex,minDist**2
'''
输出当前迭代次数、质心位置及相应聚类情况
'''
print(g)
print(centroids)
plotFig(dataSet,clusterAssment,centroids)
'''
#更新质心的位置
clusterAssment[:,0].A 返回基于矩阵的数组,得到各样本点所属的质心标号
nonzero(clusterAssment[:,0].A==cent)[0] 得到质心为cent的样本标号
'''
for cent in range(k):
ptsInClust=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
centroids[cent,:]=mean(ptsInClust,axis=0) #在列方向上进行均值计算

return centroids,clusterAssment

def plotFig(dataSet,clusterAssment,centroids):
k=shape(centroids)[0]
plt.scatter(centroids[:,0].A,centroids[:,1].A,s=70,c='black',marker='+')
for i in range(k):
ptsInClust=dataSet[nonzero(clusterAssment[:,0].A==i)[0]]
plt.scatter(ptsInClust[:,0].A,ptsInClust[:,1].A,s=20)
plt.show()

if __name__=='__main__':
dataMat=mat(loadDataSet('testSet.txt'))
#查看数据点
plt.scatter(dataMat[:,0].A,dataMat[:,1].A)
plt.show()
#这里质心数量设为4
myCentroids,clusterAssing=kMeans(dataMat,4)
#print(myCentroids)
plotFig(dataMat,clusterAssing,myCentroids)运行结果:
通过查看数据集的散点图，确定簇个数为4，具体数据分布情况为：



程序运行后，得到聚类结果如下图所示（黑色标记的为质心）:



其各质心在迭代时的移动情况如下图所示：



但是k-means可能会收敛到局部最小值，如下图所示：