Eclipse配置Hadoop环境并运行WordCount样例

1、下载Hadoop插件并安装

（1）下载hadoop-eclipse-plugin-2.7.2.jar，链接：http://download.csdn.net/detail/tondayong1981/9432425

（2）安装：将hadoop-eclipse-plugin-2.7.2.jar拷贝到/usr/lib/eclipse/plugins目录下

2、配置Hadoop的安装目录

（1）打开Eclipse，Window -> Preferences 出现Hadoop Map/Reduce选项

（2）配置Hadoop installation directory，点击Browser按钮，填入Hadoop的安装目录



3、新建Hadoop Location

（1）打开Map/Reduce视图：Window -> Show View -> Other... -> MapReduce Tools  -> Map/Reduce Locatons，底部框中出现Map/Reduce
Locatons





（2）在Map/Reduce Locatons下方，右键选择New Hadoop location...，根据hadoop/etc/hadoop/mapred-site.xml和hadoop/etc/hadoop/core-site.xml配置相应的IP和端口





4、新建Hadoop项目

（1）File -> new - project -> Map/Reduce Project 



（2）Next -> 输入Project name：WordCount -> Next -> Finish



5、连接DFS

（1）左侧Project Explorer一栏中出现DFS Locations和WordCount两个选项。



（2）展开DFS Locations，出现连接不上的错误。



这是因为我还没有启动dfs，使用脚本start-dfs.sh运行dfs。



使用jps命令查看是否启动成功。



说明已经成功启动，右键Hadoop重新连接。



连接成功，会显示dfs中的内容，input和output文件是我之前安装hadoop时，测试wordcount程序时创建的。



6、为WordCount工程添加代码

（1）在WordCount项目中新建package名为test，新建类WordCount，出现WordCount.java。



（2）复制hadoop-2.7.2源码中提供的WordCount.java中代码到我们新建的WordCount.java文件中。

WordCount.java在hadoop-2.7.2-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/目录下；

hadoop-2.7.2源码下载链接：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz



7、运行WordCount项目

先配置运行参数，点击运行按钮 -> Run Configurations -> Aarguments



输入配置参数，即相应input和output目录存放的路径：hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output 然后Apply -> Run



如果之前存在output目录需要先将其删除，否则会报错，报错如下：



我们将之前使用的output目录删掉





然后再次运行WordCount.java



没有报错，然后刷新DFS下的user



此时又增加了output文件夹，说明程序运行成功。



可以查看part-r-00000中的内容，这是单词的统计结果。



完毕。