使用Pycluster包进行聚类分析实例

使用Pycluster包进行聚类分析实例
Esri 中国 卢萌


“方以类聚，物以群分，吉凶生矣“

——周易·系辞上



人类在几千年前就认识到了所谓的聚类和分类，是用来认知和描述万事万物之间关系的主要方法。一个没读什么书小贩，也知道将不同色泽和品相的水果分开，可以卖不同的价格。所以不论是否受过高等教育，聚类和分类的思想都根深蒂固的在人类的思想中。



聚类是数据挖掘的主要手段之一，对于探索数据之间的规律有着重要的作用。但是很多想做数据分析的同学限于没有时间去写各种算法，只能停留在算法描述上面。



所以这里给大家介绍一个很好很强大的开源包：Pycluster包。



Pycluster包是东京大学医学研究所，人类基因研究中心的米歇尔德勋（Michiel de Hoon），星矢井本（Seiya Imoto），宫野悟（Satoru Miyano）等人编写的开源算法工具包，提供了C/C++、python和 Perl三个版本，因为本人主要玩的python，所以这里主要讲其中的Pycluster包，其他的内容，可以下载详细文档（本文中的代码、数据和文档，在最下面的链结中有，我放的是百度云盘）。



Pycluster封装了基于划分的算法中的两个最经典的算法K-means和k-medoids，以及基于层次的算法，主要还是说了k-means和k-medoids算法，算法的实行描述我就不详细说了，网上资料大把多。

下面解析一下整个包实现的代码以及各种参数说明：其中斜体是我写的注释。

# -*- coding:utf-8 -*- ''' Created on 2015-6-3 @author: godxia ''' import Pycluster as pc import numpy as np import matplotlib.pylab as pl def myCKDemo(filename,n): #以下两个语句是获取数据，用于聚类分析的数据位于第3和第4列（从0开始计算） data = np.loadtxt(filename, delimiter = "," ,usecols=(3,4)) #第8和第9列，保存了城市的经纬度坐标，用于最后画散点图 xy = np.loadtxt(filename, delimiter = "," ,usecols=(8,9)) #clustermap是聚类之后的集合,记录每一组数据的类别id clustermap = pc.kcluster(data, n)[0] #centroids 是分组聚类之后的聚类中心坐标 centroids = pc.clustercentroids(data, clusterid=clustermap)[0] #m是距离矩阵 m = pc.distancematrix(data) #mass 用来记录各类的点的数目 mass = np.zeros(n) for c in clustermap: mass[c] += 1 #sil是轮廓系统矩阵，用于记录每个簇的大小 sil = np.zeros(n*len(data)) sil.shape = ( len(data), n ) for i in range( 0, len(data) ): for j in range( i+1, len(data) ): d = m[j][i] sil[i, clustermap[j] ] += d sil[j, clustermap[i] ] += d for i in range(0,len(data)): sil[i,:] /= mass #s轮廓系数是一个用来评估聚类效果的参数 #值在-1 —— 1之间，值越大，表示效果越好。 #小于0，说明与其簇内元素的平均距离小于最近的其他簇，表示聚类效果不好。 #趋近与1，说明聚类效果比较好。 s=0 for i in range( 0, len(data) ): c = clustermap[i] a = sil[i,c] b = min(sil[i,range(0,c)+range(c+1,n)]) si = (b-a)/max(b,a) s+=si print n, s/len(data) #使用matplotlib画出散点图。 fig, ax = pl.subplots() #cmap是用于区分不同类别的颜色 cmap = pl.get_cmap('jet', n) cmap.set_under('gray') #xy是经纬度，主要为了通过经纬度来画出不同城市在地理上的位置 x = [list(d)[0] for d in xy] y = [list(d)[1] for d in xy] cax = ax.scatter(x, y, c=clustermap, s=30, cmap=cmap, vmin=0, vmax=n) pl.show() if __name__ == '__main__': #filename是数据c2.txt所在的路径，改成自己机器上的路径即可 filename = r"e:\c2.txt" #n是预设分成几类。 n = 5 myCKDemo(filename,n)

最终计算的结果如下：（当然，你运行之后显示的颜色可能和我这里不同，因为不同的类别颜色画出来的时候，是随机的）。



可以很明显的看出长江气候带，秦岭-淮河气候带、天山南北麓气候带等，通过温度属性进行聚类，空间位置不参与计算，能够很明显的划分出中国的气候带分布情况，说明聚类本身对于数据之间的关系模式的探索效果是非常显著。



最后，如果你复制的代码无法运行，可能是因为格式问题，因为python是严格缩进的，你可以下载我下面共享的源代码文件。注意要先安装Pycluster包和matplotlib包。



其中：c2.txt是数据，cluster.pdf 是官方文档，kclusterDemo.py 是我的python代码源文件（我用的utf-8编码的），Pycluster-1.52.win32-py2.7.exe是我使用的Pycluster包的版本，我用的python2.7 如果你用的其他版本，可以去在以下地址下载对应你的python版本的包：

http://bonsai.hgc.jp/~mdehoon/software/cluster/software.htm#pycluster



最后，云盘下载地址如下：

链接：http://pan.baidu.com/s/1npMkm 密码：0b2l