第一个Hadoop程序WordCount

参考博客：ubuntu安装hadoop详细步骤

环境：

ubuntu16.04LTS＋Hadoop2.7.4

配置可参考ubuntu16.04 Hadoop安装

本地新建一个文件，笔者在~/Documents目录下新建了一个wordCount.txt文档，里面的内容可以随便填写。

I have an apple

I have a pen

emmmmm

applepen

在HDFS中新建一个文件夹，用于上传本地的txt文档。

在hadoop2.7.4目录下输入如下命令:

bin/hdfs dfs -mkdir /test

，表示在hdfs的根目录下建立了一个test目录。

使用

bin/hdfs dfs -ls /

可查看目录。

将本地words文档上传到test目录中。

使用如下命令进行上传操作：

　bin/hdfs dfs -put /home/leesf/words /test/

使用如下命令进行查看

bin/hdfs dfs -ls /test/

运行wordcount

使用如下命令运行wordcount：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /test/WordCount.txt /test/out

运行完成后，在/test目录下生成名为out的文件，使用如下命令查看/test目录下的文件:

bin/hdfs dfs -ls /test

　　　　

5. 查看运行结果

　使用如下命令查看运行结果：

　　bin/hadoop fs -cat /test/out/part-r-00000

然而我的虚拟机跑了20分钟也没跑完这个程序。。。

问题出在yarn上了。yarn的配置对虚拟内存，磁盘等有很多要求，按很多博客都没配置好，于是换了一种配置方式。

经过几天调试发现问题，根据ubuntu16.04 Hadoop安装安装的hadoop调用了yarn程序，但是在单机上运行这个就跑不起来，于是参考博客ubuntu安装hadoop详细步骤

重新修改了mapred-site.xml.template文件，

将

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

更改为

<configuration>
　　　<property>
　　　　　<name>mapred.job.tracker</name>
　　　　　　　<value>localhost:9001</value>
　　　</property>
</configuration>

其他配置文件不变。

之后就不需要调用yarn就可以直接运行了。里面具体都是些什么还不太了解，先配好环境慢慢学吧！