hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例
2017-04-15 14:59
756 查看
1.hdfs文件系统目录要求(建议)
2.按照目录格式创建输入文件夹(不用创建输出文件夹)
3.手动创建测试数据
4.将输入数据放入HDFS中
5.使用yarn运行示例
6.查看输出
4000
/user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件 /output --输出结果的文件夹
2.按照目录格式创建输入文件夹(不用创建输出文件夹)
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir -p /user/root/mr/wordcount/input
3.手动创建测试数据
cyhp supergroup hadoop hello hdfs hadoop mapreduce hadoop world yarn
4.将输入数据放入HDFS中
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -put test-datas/wc.input /user/root/mr/wordcount/input/
5.使用yarn运行示例
[root@hadoop-yarn hadoop-2.6.5]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/mr/wordcount/input/ /user/root/mr/wordcount/output/
6.查看输出
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*
4000
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par* cyhp 1 hadoop 3 hdfs 1 hello 1 mapreduce 1 supergroup 1 world 1 yarn 1
相关文章推荐
- 【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
- 用hadoop运行一个简单程序WordCount
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- hadoop学习(六)WordCount示例深度学习MapReduce过程(1)
- hadoop学习笔记-3-运行wordcount示例
- Windows 使用Eclipse配置连接hadoop,编译运行MapReduce --本地调试WordCount
- Hadoop学习1_在使用命令行运行WordCount时,遇到的jar命令说明
- 用hadoop运行一个简单程序WordCount
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- Wordcount on YARN 一个MapReduce示例
- hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例
- Hadoop_MapReduce中的WordCount运行详解 运行原理
- 运行Hadoop的示例程序WordCount-Running Hadoop Example
- Hadoop示例程序WordCount运行及详解
- hadoop2.2使用手册2:如何运行自带wordcount
- hadoop提供了一个跑在yarn上的示例,可以运行
- 一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序
- Hadoop 1.x 使用eclipse集成环境运行WordCount程序
- WordCount示例深度学习MapReduce过程(1)