k-means 聚类hadoop 平台
2017-11-09 10:29
141 查看
1. k-means 聚类hadoop 平台
思路
1.1 在参考了
《数据算法-hadoop 、spark 》 289 页;文章 Research on Parallel k-means Algorithm Design Based on Hadoop Platform 基于云计算平台Hadoop的并行k-means聚类算法设计研究;http://blog.csdn.net/kghwettwe/article/details/43917107 代码
大概了解了 k-means 的流程
1.2 在map 主要做的是计算各个数据点与聚类中心的距离并且找出与样本对应的最近中心。 计算新的聚类中心<key,value> 输入key MApreduce默认格式 ,即当前样本相对于输入数据文件其实点的偏移量, value 是当前样本各维度的值组成的字符串。输出: <key‘,value’> key‘是距离最近簇下标,value’是 样本点。
reduce 阶段:根据map阶段的<key,value>重新计算聚类中心,更新聚类中心。输出:<key.id(下标),新的聚类中心>
在map阶段,减少数据通信,需要在本地map<key,value>做一次conbine(),减少数据大小,具体是根据key,相加value的每个维度,并记录count。
下一步写代码,有时间研究在spark实现
思路
1.1 在参考了
《数据算法-hadoop 、spark 》 289 页;文章 Research on Parallel k-means Algorithm Design Based on Hadoop Platform 基于云计算平台Hadoop的并行k-means聚类算法设计研究;http://blog.csdn.net/kghwettwe/article/details/43917107 代码
大概了解了 k-means 的流程
1.2 在map 主要做的是计算各个数据点与聚类中心的距离并且找出与样本对应的最近中心。 计算新的聚类中心<key,value> 输入key MApreduce默认格式 ,即当前样本相对于输入数据文件其实点的偏移量, value 是当前样本各维度的值组成的字符串。输出: <key‘,value’> key‘是距离最近簇下标,value’是 样本点。
reduce 阶段:根据map阶段的<key,value>重新计算聚类中心,更新聚类中心。输出:<key.id(下标),新的聚类中心>
在map阶段,减少数据通信,需要在本地map<key,value>做一次conbine(),减少数据大小,具体是根据key,相加value的每个维度,并记录count。
下一步写代码,有时间研究在spark实现
相关文章推荐
- 利用Hadoop平台进行大规模(百万以上)中文网页聚类
- 利用Hadoop平台进行大规模(百万以上)中文网页聚类
- 【转】基于Hadoop平台的并行数据挖掘算法工具-Dodo
- hadoop平台下的数据导入导出工具Sqoop
- 在linux环境下搭建hadoop平台(伪分布式)
- hadoop大数据平台手动搭建(七)-hue
- Hadoop平台相关技术
- 算法杂货铺——k均值聚类(K-means)
- Hadoop2.0伪分布式平台环境搭建
- 大数据之Hadoop平台(一)Centos6.5(64bit)编译Hadoop2.5.1源码
- centos6.5 搭建hadoop平台
- 机器学习算法与Python实践之(五)k均值聚类(k-means)
- 详细解读如何搭建hadoop平台
- Hadoop平台实验报告
- hadoop在章鱼大数据平台下的安装与配置
- 高可用Hadoop平台-Flume NG实战图解篇
- VMware下Hadoop 2.4.1完全分布式集群平台安装与设置
- Python机器学习算法之k均值聚类(k-means)
- 基于Hadoop MapReduce模型的数据分析平台研究设计
- hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第一种方式 mapreduce方式