hadoop学习笔记之<用eclipse开发>

Hadoop安装在虚拟机CentOS7.1系统中，开发在Windows系统中。

在Windows中有如下步骤要做：

下载hadoop-eclipse-plugin-2.6.1.jar
放到eclipse的plugins目录下
启动eclipse
解压hadoop2.6.1.tar.gz到本地某个目录中，如D:\Hadoop\hadoop-2.6.1

在Window->preference中找到Hadoop Map/Reduce，设置Hadoop installation directory为D:\Hadoop\hadoop-2.6.1
在Window->open perspective中选择Map/Reduce
在Window->Show View中选择Map/Reduce Locations
选择new hadoop location



其中10.8.188.147是CentOS系统的ip地址（要关闭防火墙），Map/Reduce(V2) Master 是jobtracker的端口，DFS Master是namenode的端口。

Hadoop主要的配置文件有三个core-site.xml、hdfs-site.xml和mapred-site.xml。

在core-site.xml中的fs.default.name属性就是指定了namenode的端口号，以及host

jobtracker使用默认的端口50030。

点击确认以后connect会成功。

注意：hadoop服务器中的core-site.xml的fs.default.name属性配置时，host需要是确切的ip，不能是localhost，否则会connection refused。也有可能没有启动成功，不一定是localhost的原因，再重新启动hadoop即可。

可参考：http://blog.itpub.net/26230597/viewspace-1370205/

------------------------------------------------------我是分割线---------------------------------------------------------------------

上面讲得那些最终并不成功，出现了很多乱七八糟的错误（可看：问题集锦1和问题集锦2），修改了以后还是不成功。后来觉得在Windows下用Eclipse开发其实最终还是运行在集群中的，流行的做法是Eclipse开发完单机模式下运行一下看能否正常运行，然后再打包成jar包放到集群中运行。

以下是Local模式下Eclipse开发的步骤

Hadoop版本：2.6.1

下载hadoop2.6.1.tar.gz

由http://wiki.apache.org/hadoop/Hadoop2OnWindows 可知，2.x版本或更新的版本可以直接安装在Windows平台上，在该网页中指出了几个注意点：

(1)Do not attempt to run the installation from within Cygwin. Cygwin is neither required nor supported. 也就是说2.x版本的不支持Cygwin，其实本身也不需要Cygwin，因为解压hadoop-2.6.1.tar.gz后可以看到其既提供了Linux平台下的.sh文件也提供了Windows平台下的.cmd文件。

(2)The official Apache Hadoop releases do not include Windows binaries.即需要链接库（包含了winutils.exe)，由于2.2版本之前和之后的链接库不同，要下载对应的版本的链接库，这个可以从github下载或者csdn中下载，下载网址为：http://download.csdn.net/download/kemp/8433131
解压该文件到xxx\hadoop-2.6.1\bin目录下（相同的跳过即可，注：有些版本的winutils库不一定支持，就从这个网站下载就行，否则会出现Exception in thread "main"java.lang.UnsatisfiedLinkError）。

(3)JDK版本至少是JDK1.7,hadoop-2.6.1不再支持JDK1.6版本。

按照步骤2解压hadoop2.6.1.tar.gz后，并添加链接库（主要是winutils)后，然后新建HADOOP_HOME环境变量，在path环境变量后面添加 ;%HADOOP_HOME%\bin
,打开Eclipse，新建Java Project，添加依赖jar包（可以放在user library中）。

需要添加的hadoop相应jar包有：

/hadoop-2.6.1/share/hadoop/common下所有jar包，及里面的lib目录下所有jar包，

/hadoop-2.6.1/share/hadoop/hdfs下所有jar包，不包括里面lib下的jar包，

/hadoop-2.6.1/share/hadoop/mapreduce下所有jar包，不包括里面lib下的jar包，

/hadoop-2.6.1/share/hadoop/yarn下所有jar包，不包括里面lib下的jar包



配置run configuration

路径可以使用绝对路径或相对路径，这里的路径指的是Windows的文件路径



Run 即可

可以在D:\output\part-00000中看到最终结果



注：在Local模式下Hadoop不会使用HDFS，也不会开启任何Hadoop守护进程，所有程序将在一个JVM上运行并且最多只允许拥有一个reducer。特别要注意的是每次运行前都需要先将输出路径删掉，否则会报org.apache.hadoop.mapred.FileAlreadyExistsException。一般我们使用Local模式来测试我们的MR程序是否能够正常运行，测试能正常运行后打包成JAR包放到集群上运行。

打包成jar包只需要右击项目选择Export，然后选择jar file即可(注：在MainClass中指定main函数所在的Class文件，可以方便操作）







运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用hadoop jar命令执行。

用法：hadoop jar <jar> [mainClass] args... 当打包成jar包时如果指定了mainClass，则在这里就不用再指定。

以下网址可供参考：

Eclipse下使用Hadoop单机模式调试MapReduce程序

/article/3724457.html