您的位置:首页 > 运维架构

hadoop集群运行wordcount步骤

2017-03-02 15:11 204 查看
1:准备工作安装配置hadoop集群

2:开启hadoop集群

命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成

3:创建需要给单词计数的文件

eg:mkdir /aaa

然后建立这个文件

vim aaa/inputword

查看该文件的内容,如果没有写则自己写一段话

4:在hdfs中建立文件输入文件夹

hadoop fs -mkdir -p /data/wordcount

建立输出文件夹

hadoop fs -mkdir -p /output

查看目录

hadoop fs -ls /

5:把自己写的文件上传到输入目录中

hadoop fs -put aaa/inputword /data/wordcount

6:找到hadoop自带的wordcount程序

find -name hadoop-mapreduce-examples-2.7.3.jar

注意此处的 example-2.7.3的2.7.3为版本号你可以根据自己的hadoop版本修改

可以把该文件放到一个短的目录结构中(不放也可以只不过输入命令麻烦,不容易记住该目录)

:

7:然后运行程序

hadoop jar aaa/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/wordcount/inputword output

hadoop jar为运行jar命令  ;aaa/hadoop-mapreduce-examples-2.7.3.jar为程序目录;wordcount为程序类名;、data/wordcount/inputword为输入文件;output为输出文件

运行结果如下图:

查看生成文件

查看结果

好了!恭喜你hadoop世界的helloword类经典程序已经被你完成了!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: