数据挖掘之k-means算法的Python实现

引自百度~K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

k均值算法原理：

   (1)从n个数据对象任意选择k个对象作为初始聚类中心。

   (2)根据每个聚类对象的均值，计算每个对象与这些中心对象的距离，并根据最小距离重新对相应对象进行划分。

   (3)重新计算每个聚类的均值。

   (4)循环2.3步骤，知道每个聚类不再发生变化为止。

源代码实现：

k_means.py，主要实现k-均值的功能：

#!/usr/bin/python
#coding=utf-8
from numpy import *
import matplotlib.pyplot as plt

#计算欧氏距离
def euclDistance(v1,v2):
#
return sqrt(sum(power(v2 - v1, 2)))

#使用随机样本初始化质心
def initCentroids(dataSet,k):

numSamples, dim = dataSet.shape
centroids = zeros((k, dim))

for i in range(k):
index = int(random.uniform(0, numSamples))
centroids[i, :] = dataSet[index, :]

return centroids

#k-均值聚类
def kmeans(dataSet,k):
numSamples = dataSet.shape[0]
clusterAssment = mat(zeros((numSamples, 2)))
clusterChanged = True

#初始化质心
centroids = initCentroids(dataSet, k)

while clusterChanged:
clusterChanged = False
#遍历样本数据
for i in xrange(numSamples):
minDist = 100000.0
minIndex = 0
#遍历质心
#找出跟质心最近的数据点
for j in range(k):
distance = euclDistance(centroids[j, :], dataSet[i, :])
if distance < minDist:
minDist = distance
minIndex = j

#更新簇
if clusterAssment[i, 0] != minIndex:
clusterChanged = True
clusterAssment[i, :] = minIndex, minDist**2

#更新质心
for j in range(k):
pointsInCluster = dataSet[nonzero(clusterAssment[:, 0].A == j)[0]]
centroids[j, :] = mean(pointsInCluster, axis = 0)

print '[+]聚类完成！'
return centroids, clusterAssment

#只显示二维数据的簇
def showCluster(dataSet,k,centroids,clusterAssment):
numSamples, dim = dataSet.shape
if dim != 2:
print "[!]错误：输入的数据不是二维的！"
return 1

mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
if k > len(mark):
print "[!]输入的k值太大！"
return 1

#描绘所有的样本数据
for i in xrange(numSamples):
markIndex = int(clusterAssment[i, 0])
plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])

mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
#描绘质心
for i in range(k):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)

plt.show()

test.py，主要通过调用k_means.py实现k-均值聚类的测试：

#!/usr/bin/python
#coding=utf-8

from numpy import *
import matplotlib.pyplot as plt
import k_means
from optparse import OptionParser

def main():

print "[*]加载数据..."
dataSet = []
fileIn = open('testSet.txt')
for line in fileIn.readlines():
lineArr = line.strip().split('\t')
dataSet.append([float(lineArr[0]), float(lineArr[1])])

print "[*]聚类..."
dataSet = mat(dataSet)#用mat函数转换为矩阵之后可以才进行一些线性代数的操作
k = options.k
centroids, clusterAssment = k_means.kmeans(dataSet, k)

print "[*]输出图形化结果"
k_means.showCluster(dataSet, k, centroids, clusterAssment)

if __name__ == '__main__':

parser = OptionParser('./test.py [-k <k值, 默认为2>]')
parser.add_option('-k',dest='k',type='int',default=2,help='k值')
(options,args) = parser.parse_args()

print ' _ '
print ' | | __ _ __ ___ ___ __ _ _ __ ___ '
print " | |/ /____| '_ ` _ \ / _ \/ _` | '_ \/ __|"
print " | <_____| | | | | | __/ (_| | | | \__ \\"
print ' |_|\_\ |_| |_| |_|\___|\__,_|_| |_|___/ k-均值'
print
main()

testSet.txt，测试用的数据集，数据有上百对的信息，由于数据太多就只截图：

运行结果：

分别是使用默认中心点数量参数值为2和设置中心点数量为4的图形结果：