机器学习笔记-K-means算法

写个python小程序复习一遍K-means算法，算法本身思想很简单，下面这篇文章介绍的很详细。http://home.deib.polimi.it/matteucc/Clustering/tutorial_html/kmeans.html

一、算法主函数

给定一个n维的向量集合points，将其划分为k个类别，采用闵氏距离作为两点之间距离的判定方法，算法参数就有三个：

1、points：向量集合

2、kcentroids：初始k个类别的质心位置的集合

3、p：闵氏距离的计算参数，1就是manhattan距离，2就是欧式距离

返回值是分好类的二维数组，行数为k，表示k个类别，每一行内的元素是int类型，表示向量数据在points中的下标，从0开始

主算法代码如下：

def alg_kmeans(points, kcentroids, p):
assert(len(points) > 1);
assert(len(kcentroids) > 1);
assert(len(points[0]) == len(kcentroids[0]));

k = len(kcentroids);
# centroids for clusters, each centroid is a vector
centroids = kcentroids;
# clusters, set of point's index
c1 = [[] for row in range(k)];
c2 = [[] for row in range(k)];

change = True;
while change:
change = False;
# cluster once
c2 = PointstoCluster(points, centroids, p);
# if cluster change
change = (cmp(c1,c2) != 0);
# if not change, do again
if change:
c1 = c2;
# recalculate cluster centroids
centroids = RecalculateCentroids(points, centroids, c2);
return c2;

主循环中每一轮计算，都会根据k个质心计算出分类的数据集合，将其保存在主算法中定义的二维数组c2中，c1为上一轮计算结果，c1与c2相同则表示算法结束。

二、计算函数

每一轮计算的函数参数与主函数相同，这是第二个参数质心集合是每一轮的计算结果，代码如下：

def PointstoCluster(points, kcentroids, p):
assert(len(points) > 1);
assert(len(kcentroids) > 1);
assert(len(points[0]) == len(kcentroids[0]));

k = len(kcentroids);
clusters = [[] for i in range(k)];

for i in range(len(points)):
# cal distance to each centroid
mindis = sys.float_info.max;
point = points[i];
clusteridx = -1;
for j in range(0, k):
dis = dis_minkowski(point, kcentroids[j], p);
if dis < mindis:
clusteridx = j;
mindis = dis;
clusters[clusteridx].append(i);

return clusters;

函数遍历所有向量数据，每一个向量均计算与各个质心之间的距离，取最近距离质心的类别作为其归属分类。

三、质心计算函数

每一轮计算过后，都要重新计算每个分类的质心，函数需要参数参数：

1、points：同上

2、k：类别数目

3、clusters：PointstoCluster的返回值

代码如下：

def RecalculateCentroids(points, k, clusters):
    assert(len(points) > 1);
    assert(k > 1);

    dimention = len(points[0]);
    centroids = [[0 for d in range(dimention)] for row in range(k)];
    for i in range(k):
        if len(clusters[i]) == 0:
            continue;
        for d in range(0, dimention):
            centroids[i][d] = 0;
            for pidx in clusters[i]:
                centroids[i][d] += points[pidx][d];
            centroids[i][d] /= len(clusters[i]);
    return centroids;

算法较为简单，对于某一个类别内的所有数据，取其内所有向量，对每个维度取平均值。

四、效果

为验证效果，另外写了一个壳程序，维度取2（平面),p取2（欧式距离），随机生成1000个点，分为5类，结果图示如下。



代码的github地址：https://github.com/wsxwang/ML-practise.git