您的位置：首页 > 其它

斯坦福大学机器学习笔记——聚类（k-均值聚类算法、损失函数、初始化、聚类数目的选择）

2017-12-21 10:54 453 查看

上面的博客的算法都是有监督学习的算法，即对于每个数据我们都有该数据对应的标签，数据集的形式如下：

而今天我们学习的算法是一种无监督学习的算法——聚类，该算法中的每个数据没有标签，数据集的形式如下：

K-均值聚类

k-均值聚类是一种最常见的聚类算法，该算法对没有标签的数据集进行训练，然后将数据集聚类成不同的类别。

k-均值聚类是一种迭代算法，该方法的过程如下：

1. 选择K个随机点，作为聚类中心；

2. 对于数据集中的每个数据计算与K个聚类中心的距离，将其与距离最近的聚类中心关联起来，将属于同一个聚类中心的样本聚成一类（也叫作簇）；

3. 计算每一个簇所有样本的均值，将聚类中心移动到平均值的位置。

重复上述步骤2-3，直到聚类中心不再发生变化为止。

该算法的伪代码如下：

其中，c(i)代表x(i)被分配的聚类的索引值，c(i)∈{1,2,...,K}，μk是类别为k的聚类中心。

该算法主要有两个关键步骤：第一步为簇分类，即对于每一个样本i，计算其应该属于的类别，计算的公式为：

mink||xi−μk||2

第二步为更新聚类中心（移动聚类中心），即：对于每一个类k，重新计算该类的质心。

在进行k均值的时候偶尔会出现一种问题，那就是如果没有点分配给它的聚类中心怎么办？也就是说，你初始化的聚类中心，在进行簇分类之后，可能会出现该簇一个样本也没有。在这种情况下，我们一般移除那个聚类中心，这样就会得到K-1个簇，如果必须分成K个簇，则要重新随机找一个聚类中心，但是一般情况下我们都是将该聚类中心直接去掉（这种问题出现的情况很少）。

k-均值聚类的目标函数：

了解k-均值聚类代价函数有两个目的：

1. 能够帮助我们调试学习算法，确保k均值聚类算法是在正确运行中；

2. 能够运用代价函数帮助k-均值找到更好的簇，并且避免局部最优解（在下文中会讲述到）。

k-均值最小化问题是最小化每个数据点与其所关联的聚类中心点之间的距离之和，所以k-均值的代价函数（也称为畸变函数）为：

其中，c(i)代表x(i)被分配的聚类的索引值，c(i)∈{1,2,...,K}，μk是类别为k的聚类中心。μc(i)代表x(i)被分配聚类索引值所对应的聚类中心。比如x(i)被聚类到第5类聚类，则c(i)=5，于是μc(i)=μ5。

我们从上述的k-均值的伪代码中来简单的分析一下每个步骤怎样来最小化代价函数。第一个循环是用于对每个样本进行簇分类，，它是用于减少c(i)引起的代价，也就是说：

minJ(c(1),c(2),...,c(m))

上述过程μ1,μ2,...,μK保持不变。

第二个循环是用于移动聚类中心的位置，它是用来减小μi引起的代价，也就是说：

minJ(μ1,μ2,...,μK)

上述过程c(1),c(2),...,c(m)保持不变。

在迭代的过程中，每一次的代价函数应该都在减小或者保持不变，如果出现代价函数增大的情况，则说明实现的过程可能存在错误。

随机初始化：

在进行k-均值的过程中，首先需要对聚类中心进行初始化，初始点选择的不同，可能会得到不同的聚类结果，下面简单介绍一下怎么进行初始化：

1. 应该选择K<m，即聚类中心点的个数要小于所有训练集实例的个数。

2. 随机选择K个训练实例，然后令K个聚类中心分别与这K个训练实例相等。

K-均值聚类会存在一个问题，也就是最终聚类的结果会停留在一个局部最小值处，这取决于初始化的情况。

为了解决这个问题，我们通常采用多次运行k-均值聚类算法，每一次都重新进行随机初始化，最后比较多次运行k-均值的结果，选择代价函数最小的结果。但是上述这种方法，对于聚类中心数目K较小时（2-10）可行，但是当K较大时，这么做也可能不会有明显的改善。

上述解决方案的伪代码如下：

聚类数如何选择：

没有最好的选择聚类数的方法，人们一般都是根据不同的问题进行手动选择。在进行选择的时候我们可以从k-均值聚类算法的动机是什么出发，选择出最好的适应于该动机的聚类数。

例如，我们搜集了一些人的身高和体重，想借助身高和体重两个特征进行衣服尺码的划分，例如厂家想生产三种类型的尺码（S、M、L），以此可以获得更好的收益，这是我们的聚类数目会选择K=3；例如厂家想生产五种类型的尺码（XS、S、M、L、XL），以此可以获得更好的收益，这是我们的聚类数目会选择K=5；所以这时候的聚类数目的选择是根据制造的衣服是否能较好的适应我们的客户。

那么有没有一种可以选择聚类数目的方法呢？有一种方法叫做“肘部法则”，也就是说我们分别计算在各种K值情况下，聚类算法最终的损失函数，绘制出随着K值变化损失函数变化的曲线：

例如上图中的左图，我们观察可以发现，在K=3时，损失函数急剧下降，然后在K=3之后损失函数逐渐趋于平稳，出出现曲线类似于肘的形状，这时候我们就会选择K=3作为我们聚类的数目，但是“肘部法则”并不是适应于所有的情况，很多情况下随着K值的变化损失函数曲线变化的趋势如上图中的有图，没有明显的肘部，这时候肘部法则则不再适用。

上述算法实现的matlab代码如下：

主函数：

clear;
close all;

%% 数据归一化处理以及数据的显示
load('ex7data2.mat');

% 实现特征归一化
max_X = max(X); % 每个特征的最大值
mean_X = mean(X);   % 每个特征的均值
std_X = std(X); % 每个特征的标准差
feature = feature_normalized(X, max_X, mean_X, std_X);

figure;
plot(feature(:,1),feature(:,2),'bo','MarkerSize', 3);
hold on;

%% 数据的初始化
feature = X;
[m, n] = size(feature);
K = 3; % 聚类数目
% 初始化聚类中心
r = 1 + (m-1).*rand([K 1]); % 随机生成一个范围在1~m的K*1的矩阵
r = floor(r);   % 对产生的随机数求整
centroid = feature(r,:);    % 从原来的数据中获得初始的聚类中心
max_iteration = 5; % 最大迭代次数
c = zeros(m,1); % 初始化类别索引
data = zeros(m,n+1);
J = zeros(max_iteration,1); % 存储损失函数

%% K-means聚类实现的过程
for i=1:max_iteration
for a=1:m
c(a) = index_distance(feature(a,:), centroid, K);   % 计算每个样本与聚类中心的距离，根据距离将样本划分为某一个聚类中心的类别索引
data(a,:) = [feature(a,:) c(a)];
end
first_class = find(c==1);   % 找到聚类类别为1在数据中的索引值
second_class = find(c==2);  % 找到聚类类别为2在数据中的索引值
third_class = find(c==3);   % 找到聚类类别为3在数据中的索引值

%用不同的颜色将不同的类别显示
figure;
plot(centroid(:,1),centroid(:,2),'ro','MarkerSize', 10); hold on;
plot(feature(first_class,1),feature(first_class,2),'ro','MarkerSize', 3); hold on;
plot(feature(second_class,1),feature(second_class,2),'bo','MarkerSize', 3); hold on;
plot(feature(third_class,1),feature(third_class,2),'go','MarkerSize', 3); hold off;

% 计算损失函数
sum = 0;
for z=1:m
sum = sum + norm(data(z,1:n)-centroid(data(z,3),:));
end
J(i) = sum;

% 更新聚类中心
for b=1:K
centroid(b,:)=mean(feature(find(c==b),:));
end

end

%% 绘制损失函数曲线
figure;
x = 1:max_iteration;
plot(x,J,'-');

特征归一化函数

function [normalized_feature, max_feature, mean_feature, std_feature] = feature_normalized(original_feature, max_feature, mean_feature, std_feature)

[num_sample,num_feature] = size(original_feature);
normalized_feature = zeros(num_sample, num_feature);

for i=1:num_feature
%     % 方式1
%     normalized_feature(:,i) = original_feature(:,i)/max_feature(i);
%     % 方式2
%     normalized_feature(:,i) = (original_feature(:,i)-mean_feature(i))/max_feature(i);
% 方式3
normalized_feature(:,i) = (original_feature(:,i)-mean_feature(i))/std_feature(i);
end

根据距离获得索引的子函数：

function [c] = index_distance(feature, centroid, K)

distance = zeros(K,1);
for i=1:K
distance(i) = norm(feature-centroid(i,:));
end

c = find(distance==min(distance));
end

程序运行的结果：

数据集的分布：