您的位置:首页 > 运维架构

Hadoop集群WordCount运行步骤详细图解

2014-10-13 16:54 295 查看

费了9牛2虎之力,终于把这过程给总结出来了,希望对大家在云计算的路上有帮助。

1.MapReduce运行原理图



2.单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。



3.在本地/home/work/里面创建一个目录file,里面写2个文件,file1.txt和file2.txt,内容请参照图片。



内容:



4.在HDFS上创建输入文件夹



5.上传本地file中文件到集群的input目录下



6.查看上传结果



7.运行wordCount程序:命令



8.运行过程的log



9.运行结果log,以及生成的结果

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息