hadoop集群运行wordcount步骤
2017-03-02 15:11
204 查看
1:准备工作安装配置hadoop集群
2:开启hadoop集群
命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成
3:创建需要给单词计数的文件
eg:mkdir /aaa
然后建立这个文件
vim aaa/inputword
查看该文件的内容,如果没有写则自己写一段话
4:在hdfs中建立文件输入文件夹
hadoop fs -mkdir -p /data/wordcount
建立输出文件夹
hadoop fs -mkdir -p /output
查看目录
hadoop fs -ls /
5:把自己写的文件上传到输入目录中
hadoop fs -put aaa/inputword /data/wordcount
6:找到hadoop自带的wordcount程序
find -name hadoop-mapreduce-examples-2.7.3.jar
注意此处的 example-2.7.3的2.7.3为版本号你可以根据自己的hadoop版本修改
可以把该文件放到一个短的目录结构中(不放也可以只不过输入命令麻烦,不容易记住该目录)
:
7:然后运行程序
hadoop jar aaa/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/wordcount/inputword output
hadoop jar为运行jar命令 ;aaa/hadoop-mapreduce-examples-2.7.3.jar为程序目录;wordcount为程序类名;、data/wordcount/inputword为输入文件;output为输出文件
运行结果如下图:
查看生成文件
查看结果
好了!恭喜你hadoop世界的helloword类经典程序已经被你完成了!
2:开启hadoop集群
命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成
3:创建需要给单词计数的文件
eg:mkdir /aaa
然后建立这个文件
vim aaa/inputword
查看该文件的内容,如果没有写则自己写一段话
4:在hdfs中建立文件输入文件夹
hadoop fs -mkdir -p /data/wordcount
建立输出文件夹
hadoop fs -mkdir -p /output
查看目录
hadoop fs -ls /
5:把自己写的文件上传到输入目录中
hadoop fs -put aaa/inputword /data/wordcount
6:找到hadoop自带的wordcount程序
find -name hadoop-mapreduce-examples-2.7.3.jar
注意此处的 example-2.7.3的2.7.3为版本号你可以根据自己的hadoop版本修改
可以把该文件放到一个短的目录结构中(不放也可以只不过输入命令麻烦,不容易记住该目录)
:
7:然后运行程序
hadoop jar aaa/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/wordcount/inputword output
hadoop jar为运行jar命令 ;aaa/hadoop-mapreduce-examples-2.7.3.jar为程序目录;wordcount为程序类名;、data/wordcount/inputword为输入文件;output为输出文件
运行结果如下图:
查看生成文件
查看结果
好了!恭喜你hadoop世界的helloword类经典程序已经被你完成了!
相关文章推荐
- Hadoop集群WordCount运行步骤详细图解
- Hadoop集群(第6期)_WordCount运行详解
- Hadoop集群WordCount运行详解(转)
- 在ubuntu12.04+hadoop2.3.0集群上运行WordCount出错
- Ubuntu13.10 hadoop2.2.0 多机集群配置及wordcount 运行
- Eclipse连接远程Hadoop集群&运行WordCount例程
- Hadoop集群运行wordcount jar包出错
- Hadoop集群(第6期)_WordCount运行详解
- Hadoop集群中wordcount的运行命令
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)
- Hadoop集群(第6期)_WordCount运行详解
- 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤
- Hadoop集群(第6期)_WordCount运行详解
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- hadoop自带例子wordcount的具体运行步骤
- hadoop集群运行运行wordcount
- Hadoop集群(第6期)_WordCount运行详解
- Hadoop集群(第6期)_WordCount运行详解
- Hadoop集群(第6期)_WordCount运行详解