机器学习实战之k-means
2016-04-18 14:53
260 查看
1. 分类和聚类
分类的目标事先已知,聚类产生的结果和分类一样,但是其类别没有预先定义。聚类是无监督的,无监督学习没有训练过程。
聚类分析就是将相似对象归入同一簇,不相似对象分到不同簇。相似取决于所选择的相似度计算方法,算法性能将会受到相似度计算方法的影响。
2. k-均值聚类算法
(1)定义
k-means是发现给定数据集的k个簇的算法。簇个数k用户指定,每一个簇通过其质心即簇中所有点的中心来描述。
(2)工作过程
创建k个点作为起始质心(一般是随机选择或者也可以从数据集中随机选择k个样本)
当任意一个点的簇分配结果发生改变时
对数据集中的每个点
对每个质心
计算质心与该数据点之间的距离
将该数据点的簇更新为距离最小的簇
对每个簇,通过计算簇中所有数据点的均值来更新簇的质心
(3)实现代码
(4)评价聚类质量
k-means算法收敛但聚类效果较差的原因:k-means算法收敛到了局部最小值,而不是全局最小值。(局部最小值结果还可以但不是最好结果,全局最小值是可能的最好的结果)
度量聚类的指标:SSE (sum of squared error ,误差平方和),SSE越小,表示数据点越接近其所属质心,聚类效果也越好。
聚类的目标就是在保持簇数目不变的情况下提高簇的质量。
对簇进行后处理的方法:
将具有最大SSE值的簇划分成两个簇。具体做法就是在最大簇的数据集上运行k-means算法,其中k取2.
可以将某两个簇进行合并。有2种合并的方法:合并最近的质心或者合并两个是的SSE增幅最小的质心。前者通过计算所有质心间的距离,合并距离最小的两个质心;后者需要在所有可能的两个簇上重复合并并计算总SSE值,选择SSE增幅最小的两个簇然后真正合并。
3. 二分k-均值算法
(1)算法思想
将所有点作为一个簇,然后将簇一分为二。之后选择其中一个簇继续进行划分,选择哪一个簇取决于对其划分是否可以最大程度上减少SSE的值。直到得到用户指定的簇数目为止。
簇划分依据标准:一个是选择SSE最大的簇进行划分;一个是选择划分后总体数据集误差最小的簇进行划分。
二分k-均值算法的聚类效果好于k-均值算法
(2)算法伪代码
将所有点看成一个簇
当簇数目小于k时
对于每一个簇
在给定的簇上进行k-means聚类(k=2)
计算将该簇一分为二之后的总误差
选择误差变化最小的那个簇进行划分操作
(3)实现代码
分类的目标事先已知,聚类产生的结果和分类一样,但是其类别没有预先定义。聚类是无监督的,无监督学习没有训练过程。
聚类分析就是将相似对象归入同一簇,不相似对象分到不同簇。相似取决于所选择的相似度计算方法,算法性能将会受到相似度计算方法的影响。
2. k-均值聚类算法
(1)定义
k-means是发现给定数据集的k个簇的算法。簇个数k用户指定,每一个簇通过其质心即簇中所有点的中心来描述。
(2)工作过程
创建k个点作为起始质心(一般是随机选择或者也可以从数据集中随机选择k个样本)
当任意一个点的簇分配结果发生改变时
对数据集中的每个点
对每个质心
计算质心与该数据点之间的距离
将该数据点的簇更新为距离最小的簇
对每个簇,通过计算簇中所有数据点的均值来更新簇的质心
(3)实现代码
<span style="font-size:18px;">def distEclud(vecA, vecB): return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB) def randCent(dataSet, k): n = shape(dataSet)[1] centroids = mat(zeros((k,n)))#create centroid mat for j in range(n):#create random cluster centers, within bounds of each dimension minJ = min(dataSet[:,j]) rangeJ = float(max(dataSet[:,j]) - minJ) centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1)) return centroids def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent): m = shape(dataSet)[0] clusterAssment = mat(zeros((m,2)))#create mat to assign data points #to a centroid, also holds SE of each point centroids = createCent(dataSet, k) clusterChanged = True while clusterChanged: clusterChanged = False for i in range(m):#for each data point assign it to the closest centroid minDist = inf; minIndex = -1 for j in range(k): distJI = distMeas(centroids[j,:],dataSet[i,:]) if distJI < minDist: minDist = distJI; minIndex = j if clusterAssment[i,0] != minIndex: clusterChanged = True clusterAssment[i,:] = minIndex,minDist**2 print centroids for cent in range(k):#recalculate centroids ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean return centroids, clusterAssment</span>
(4)评价聚类质量
k-means算法收敛但聚类效果较差的原因:k-means算法收敛到了局部最小值,而不是全局最小值。(局部最小值结果还可以但不是最好结果,全局最小值是可能的最好的结果)
度量聚类的指标:SSE (sum of squared error ,误差平方和),SSE越小,表示数据点越接近其所属质心,聚类效果也越好。
聚类的目标就是在保持簇数目不变的情况下提高簇的质量。
对簇进行后处理的方法:
将具有最大SSE值的簇划分成两个簇。具体做法就是在最大簇的数据集上运行k-means算法,其中k取2.
可以将某两个簇进行合并。有2种合并的方法:合并最近的质心或者合并两个是的SSE增幅最小的质心。前者通过计算所有质心间的距离,合并距离最小的两个质心;后者需要在所有可能的两个簇上重复合并并计算总SSE值,选择SSE增幅最小的两个簇然后真正合并。
3. 二分k-均值算法
(1)算法思想
将所有点作为一个簇,然后将簇一分为二。之后选择其中一个簇继续进行划分,选择哪一个簇取决于对其划分是否可以最大程度上减少SSE的值。直到得到用户指定的簇数目为止。
簇划分依据标准:一个是选择SSE最大的簇进行划分;一个是选择划分后总体数据集误差最小的簇进行划分。
二分k-均值算法的聚类效果好于k-均值算法
(2)算法伪代码
将所有点看成一个簇
当簇数目小于k时
对于每一个簇
在给定的簇上进行k-means聚类(k=2)
计算将该簇一分为二之后的总误差
选择误差变化最小的那个簇进行划分操作
(3)实现代码
<span style="font-size:18px;">def biKmeans(dataSet, k, distMeas=distEclud): m = shape(dataSet)[0] clusterAssment = mat(zeros((m,2))) centroid0 = mean(dataSet, axis=0).tolist()[0] centList =[centroid0] #create a list with one centroid for j in range(m):#calc initial Error clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2 while (len(centList) < k): lowestSSE = inf for i in range(len(centList)): ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]#get the data points currently in cluster i centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas) sseSplit = sum(splitClustAss[:,1])#compare the SSE to the currrent minimum sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1]) print "sseSplit, and notSplit: ",sseSplit,sseNotSplit if (sseSplit + sseNotSplit) < lowestSSE: bestCentToSplit = i bestNewCents = centroidMat bestClustAss = splitClustAss.copy() lowestSSE = sseSplit + sseNotSplit bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #change 1 to 3,4, or whatever bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit print 'the bestCentToSplit is: ',bestCentToSplit print 'the len of bestClustAss is: ', len(bestClustAss) centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#replace a centroid with two best centroids centList.append(bestNewCents[1,:].tolist()[0]) clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss#reassign new clusters, and SSE return mat(centList), clusterAssment </span>
相关文章推荐
- 《Spark MLlib 机器学习》勘误(持续更新)
- 标准构建
- 单链表逆序———不借助外部辅助空间递归与非递归实现
- 整理包--autopackstepCompile-UFT.bat
- 什么是内核模块
- Swift实现iOS应用中短信验证码倒计时功能的实例分享
- springmvc源码分析
- Exchange 2016集成ADRMS系列-8:创建自定义RMS模板
- Java连接hadoop注意事项及实例
- Ubuntu常用安装源
- 动态规划--最小路径和(Minimum Path Sum)
- 配置
- 组合数学中的常见定理&组合数的计算&取模
- linux shell 字符串操作(长度,查找,替换)详解
- JS运动中的部分实用函数总结
- Storm实战之WordCount
- iOS 单例模式
- js 调用方法,用ajax
- 模块的加载启动
- 4.18 图片切换【js基础应用】