您的位置:首页 > 运维架构

hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例

2017-04-15 14:59 756 查看
1.hdfs文件系统目录要求(建议)

/user
/{username}             --用户名
/mr                 --MapReduce类型应用
/wordcount      --应用的名称
/input      --要处理的文件
/output     --输出结果的文件夹


2.按照目录格式创建输入文件夹(不用创建输出文件夹)

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir -p /user/root/mr/wordcount/input


3.手动创建测试数据

cyhp supergroup
hadoop hello
hdfs hadoop
mapreduce hadoop
world yarn


4.将输入数据放入HDFS中

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -put test-datas/wc.input  /user/root/mr/wordcount/input/


5.使用yarn运行示例

[root@hadoop-yarn hadoop-2.6.5]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/mr/wordcount/input/ /user/root/mr/wordcount/output/


6.查看输出

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*


4000

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*
cyhp    1
hadoop  3
hdfs    1
hello   1
mapreduce   1
supergroup  1
world   1
yarn    1
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: