MyEclipse安装hadoop-eclipse-plugin，配置本地hadoop开发环境

配置环境：Hadoop-2.7.1，MyEclipse10，redhat 6.5

在redhat6.5环境下搭建了hadoop2.7.1集群环境，那么如何在本地eclipse环境下开发map/reduce业务呢？
网上查了下，主要是安装hadoop-eclipse-plugin，在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。
步骤：
1）下载hadoop-eclipse-plugin-2.7.1.jar
2）将hadoop-eclipse-plugin-2.7.1.jar放到MyEclipse安装目录的dropins文件夹下，重新启动MyEclipse。会发现在Project Explorer下出现DFS Locations.表明MyEclipse已经识别hadoop-eclipse-plugin-2.7.1.jar插件。
3）打开window-->Preferens,发现Hadoop Map/Reduce选项，说明插件安装成功，配置Hadoop installation directory为本地Hadoop安装解压的目录。（注意：前提是要在window下下载hadoop-2.7.1，并解压）

 


4）选择window-->show view-->others，选择有大象图标的Map/Reduce，打开Map/Reduce的开发环境，下方多了一个Map/Reduce Location的框。



图中出现的大象linux是我已经配好了的。
5）选择Map/reduce Location标签，点击标签最右边的大象图标，即齿轮图标右侧的大象图标，打开参数设置页面。



 
注意：用红色框标注的参数设置一定要正确，首先，Location name设置为linux的主机名，可以用hostname查看。Host为linux主机用户名。左边的PortMapReduce的端口号，之前在linux下配置Hadoop的xml文件已经配过了，按照配置的端口号配置就可以了。右边的为hdfs的端口号。配置完后点finish。
6）接着点击Advanced parameters，从中找到hadoop.tmp.dir,修改为Hadoop集群core-site.xml中配置的值。



7）接着在Advanced parameters中配置dfs.permssions，修改为false，与Hadoop集群【hdfs-site.xml】中配置的一致；将dfs.replication的值改为1.



8）配置完成后，点击myeclipse右上角的Map/Reduce的按钮



若在左侧Project Explorer中出现如下信息，这表明配置成功，其中tmp、user等目录，是我自己在hdfs中创建出来的，你自己创建会有自己文件和目录



右键点击hadf的目录，可以直接通过myeclipse将本地文件上传到远程的hdfs中