hadoop eclipse集成开发

开发环境：

jdk1.8  hadoop2.7.1   eclipse luna4.4.0

hadoop配置为伪分布式

eclipse hadoop插件为2.7.1版，csdn上有。

之前使用的是hadoop0.2.0  jdk1.7也没有遇到什么问题

但是在使用高版本的配置中要到了一下几个问题总结如下：

1。在添加eclise-hadoop-plugin.xxx.jar之后，eclipse中无法找到mapreduce的视图界面。

    这个主要是考虑eclipse版本的问题，我之前用的是最新版,Mars.后来换成luna4.4.0就好用了。其他的luna要想也不好用。这个问题困扰了我一下午。

2。使用地版本的eclipse（版本3.7）进行jdk1.8下的开发时，（我之前也都是jdk1.7）出现如下问题：

The type java.util.Map$Entry cannot be resolved. It is indirectly  referenced from required .class files

这个问题主要是eclipse的版本太低了，不支持高版本的jdk.当然网上有人是对jre等进行重新配置的，但是本质问题还就是工具对高版本jdk不兼容。

下载luna4.4.0之后上述的两个问题全部解决了。

下面說一下继承开发过程

直接将eclipse-hadoop-plugin.xx.jar放到eclipse中的plugins目录下，然后重启eclipse就ok了。这个还是很简单的。

在进行mapreduce开发时，需要添加下面几个参数。我用的是伪分布式可能配置比较简单吧。



DFS中的端口号是在你的core-site.xml中配置的，这个文件中对nameNode和hdfs进行配置。dfs.defaultFS我配置的是

localhost:9000所以添加这个参数。

MapReduce端口号，我使用的是默认配置，端口号默认为8088.

可以通过ip:8088查看已经提交的任务。