机器学习--k均值聚类(k-means)算法

一、基本原理

分类是指分类器根据已标注类别的训练集，通过训练可以对未知类别的样本进行分类。分类被称为监督学习。如果训练集的样本没有标注类别，那么就需要用到聚类。聚类是把相似的样本聚成一类，这种相似性通常以距离来度量。聚类被称为无监督学习。
聚类是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。
k-means是聚类算法中常用的一种，其中k的含义是指有k个cluster（簇）。由聚类的定义可知，一个样本应距离其所属cluster的质心是最近的（相较于其他k-1个cluster）。为了表示cluster，最简单有效的是取所有样本点平均，即质心（cluster centroid），这便是取名means的来由。

二、算法流程

1）随机选取k个初始点作为质心
2）计算每个点到k个质心的距离，并将其分给距离最近的质心所对应的簇
3）更新每个簇的质心，直到簇分配不发生改变为止

伪代码表示如下：

创建k个点作为起始质心（可以随机选择）
当任意一个点的簇分配结果发生改变时
对数据集中的每个数据点
对每个质心
计算质心与数据点之间的距离
将数据点分配到距其最近的簇

对每一个簇，计算簇中所有点的均值并将均值作为质心

三、算法的特点
优点：容易实现
缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。
适用数据范围：数值型。

四、python代码实现

1、将文本文件转换为矩阵

#############################

#功能：将文本文件导入到矩阵中

#输入变量：文本文件

#输出变量：文本文件转换后的矩阵

#############################

def load_data_set(file_name):

data_mat = []

fr = open(file_name)

for line in fr.readlines():

#先去除字符串两边的空格，再以tab分隔符分切字符串

cur_line = line.strip().split('\t')

#用map函数将cur_line进行float运算，即转为float型

float_line = map(float, cur_line)

data_mat.append(float_line)

fr.close()

return data_mat

2、欧式距离的计算

############################

#功能：计算欧式距离

#输入变量：两个变量

#输出变量：两个变量的欧氏距离

############################

def dist_eclud(vec_a, vec_b):

return sqrt(sum(power(vec_a-vec_b, 2)))

3、构建一个k个随机质心的集合

##################################

#功能：构建一个k个随机质心的集合

#输入变量：原始数据集，初始化为k个质心

#输出变量：质心的坐标值

##################################

def rand_cent(data_set, k):

n = shape(data_set)[1] # 获得列数

centroids = mat(zeros((k, n))) # 创建k行n列的质心矩阵，初始值都为0

for j in xrange(n): # 创建每个维度范围内的随机集群中心

min_j = min(data_set[:, j]) # 取出对应列的值，并取最小值

range_j = float(max(data_set[:, j]) - min_j)

# 生成0到1.0之间的随机数，确保随机点在数据的边界之内

centroids[:, j] = min_j + range_j*random.random()

return centroids

4、实现k-均值聚类算法

##################################

#功能：k均值聚类

#输入变量：原始数据集，初始化为k个质心，

# 距离函数，构建随机质心的函数

#输出变量：centroids 最终的质心，

# cluster_assment 每个质心包含的数据点的索引值及误差

##################################

def k_means(data_set, k):

m = shape(data_set)[0] # 获得行数

cluster_assment = mat(zeros((m, 2))) # 一列记录簇索引值，一列存储误差

centroids = rand_cent(data_set, k) # 生成随机质心

cluster_changed = True

while cluster_changed:

cluster_changed = False

for i in xrange(m): # 计算每一个数据点到质心的距离

min_dist = inf

min_index = -1

# 计算每个数据点到质心的最小距离

for j in xrange(k):

dist_ji = dist_eclud(centroids[j, :], data_set[i, :])

if dist_ji < min_dist:

min_dist = dist_ji

min_index = j

# 如果该数据点的索引值改变，即该数据点不属于原来的质心

if cluster_assment[i, 0] != min_index:

cluster_changed = True

# 最小值的索引值，均方值

cluster_assment[i, :] = min_index, min_dist**2

print 'centroids=', centroids

for cent in xrange(k):

# 去第一列等于cent的所有列

# nonzero()返回值为元组，两个值分别为两个维度，第一个是行，第二个是列。

# .A表示返回该矩阵数据的2维数组视图

pts_in_clust = data_set[nonzero(cluster_assment[:, 0].A == cent)[0]]

centroids[cent, :] = mean(pts_in_clust, axis=0)

return centroids, cluster_assment

def main():

data_mat = mat(load_data_set('testSet.txt'))

# print "data_mat=", data_mat

centroids = rand_cent(data_mat, 2)

print "centroids=", centroids

my_centroids, cluster_assing = k_means(data_mat, 4)

print 'my_centroids=', my_centroids

print 'cluster_assing=', cluster_assing

if __name__ == '__main__':

main()