eclipse生成hadoop程序示例

节选自：http://www.cnblogs.com/lanxuezaipiao/p/3325932.html

当然最经典的以WordCount为例，就跟Hello World一样，步骤如下：

1. 新建项目。 
File-->New-->Other-->Map/Reduce Project 
项目名可以随便取，如HadoopTest。 
复制 hadoop安装目录/src/examples/org/apache/hadoop/examples/WordCount.java到刚才新建的项目下面，修改里面的package。

2. 上传模拟数据文件夹

为了运行程序，需要一个输入文件夹和输出的件夹。输出文件夹，在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。

（1）在当前目录（如hadoop安装目录）下新建文件夹input，并在文件夹下新建两个文件file01、file02，这两个文件内容分别如下： 

// file01
Hello Alexia Welcome Hadoop

// file02
Welcome Alexia Bye Hadoop

 

（2）将文件夹input上传到HDFS中

在已经启动Hadoop守护进程终端中cd 到hadoop安装目录，运行下面命令： 

bin/hadoop fs -put input input

这个命令将input文件夹上传到了hadoop文件系统了，在该系统下就多了一个input文件夹，你可以使用下面命令查看： 

bin/hadoop fs -ls

 

3. 运行项目
(1) 在新建的项目HadoopTest，点击WordCount.java，右键-->Run As-->Run Configurations

(2) 在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount 

(3) 配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如： 

hdfs://192.168.1.151:9000/user/hadoop/input hdfs://192.168.1.151:9000/user/hadoop/output

这里面的input就是你刚传上去的文件夹。文件夹地址你可以根据自己具体情况填写。如下图：



(4) 点击Run，运行程序。

等运行结束后，可以在终端中用命令如下，

查看是否生成了输出文件夹output
bin/hadoop fs -ls

用下面命令查看生成的文件内容
bin/hadoop fs -cat output01/*

如果显示如下，说明已经成功在eclipse下运行第一个MapReduce程序了

Alexia 2
Bye 1
Hadoop  2
Hello   1
Welcome   2