编译hadoop1.2.1 eclipse插件

来自：http://symphony.b3log.org/article/1379912641573

编译hadoop1.2.1 eclipse插件(3)

编译过程

目录结构

eclipse目录 D:\Hadoop\eclipse-java-kepler-R-win32\eclipse

eclipse工程目录 D:\Hadoop\wk_hadoop
大家可以下载我的工程和编译好的插件，工程下载地址：http://pan.baidu.com/share/link?shareid=2533684141&uk=2399653584
插件下载地址：http://pan.baidu.com/share/link?shareid=2552850400&uk=2399653584

1. 导入 Hadoop-eclipse 插件工程

获取 hadoop-1.2.1.tar.gz

解压缩到 D:\Hadoop 目录下

在 Eclipse 中选择 File—>Import—>Existing Projects into Workspace 导入已有项目，路径为: D:\Hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin，其默认的项目名称是 MapReduceTools

2. 导入所需 jar 包

如果不调试插件可以不用做着一步。

在项目 MapReduceTools 中新建 lib 目录，将 hadoop-1.2.1 下的 hadoop-core-1.2.1.jar（重命名为 hadoop.core.jar），及其 lib 目录下的 commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-mapper-asl-1.8.8.jar、jackson-core-asl-1.8.8.jar、commons-httpclient-3.0.1.jar
拷贝到该目录。

3. 修改build-contrib.xml

将 D:\Hadoop\hadoop-1.2.1\src\contrib\build-contrib.xml（与 eclipse-plugin 包在同一级目录）拷贝到 MapReduceTools 项目目录中。

修改 build-contrib.xml，注意路径用 "/"

<!— 修改 hadoop 存放目录—>
<property name="hadoop.root" location="D:/Hadoop/hadoop-1.2.1"/>
<!— 添加 eclipse 存放目录—>
<property name="eclipse.home" location="D:/Hadoop/eclipse-java-kepler-R-win32/eclipse" />
<!— 添加 hadoop 版本—>
<property name="version" value="1.2.1" />

4. 修改build.xml

<!— 1.修改 build-contrib.xml 的位置，去掉"../"—>
<import file="build-contrib.xml"/>

<!— 2.添加如下，否则提示"软件包 org.apache.hadoop.fs 不存在"—>
<path id="hadoop-jars">
<fileset dir="${hadoop.root}/">
<include name="hadoop-*.jar"/>
</fileset>
</path>

<path id="classpath">
<pathelement location="${build.classes}"/>
<pathelement location="${hadoop.root}/build/classes"/>
<path refid="eclipse-sdk-jars"/>
<path refid="hadoop-jars"/>
</path>

<!— 3.修改并添加 jar 包拷贝—>
<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose=""true"/>
<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
<jar jarfile="${build.dir}/hadoop-${name}-${version}.jar" manifest="${root}/META-INF/MANIFEST.MF">
<fileset dir="${build.dir}" includes="classes/ lib/"/>
<fileset dir="${root}" includes="resources/ plugin.xml"/>
</jar>
</target>

5. 修改MANIFEST.MF

修改 META-INF/MANIFEST.MF

Bundle-ClassPath: classes/,
lib/hadoop-core.jar ,
lib/commons-cli-1.2.jar ,
lib/commons-httpclient-3.0.1.jar ,
lib/jackson-core-asl-1.8.8.jar ,
lib/jackson-mapper-asl-1.8.8.jar,
lib/commons-configuration-1.6.jar,
lib/commons-lang-2.4.jar

6. Ant 编译

右键点击build.xml文件->Run as->Ant build, 编译成功会输出 BUILD SUCCESSFUL ^^

7. 安装插件

编译结果D:\Hadoop\hadoop-1.2.1\build\contrib\eclipse-plugin\hadoop-eclipse-plugin-1.2.1.jar 放入 D:\Hadoop\eclipse-java-kepler-R-win32\eclipse\plugins 目录下，重启 eclipse

8. 配置插件

打开 map/Reduce Locations

右键 New Hadoop Location…，输入 Location Name(见名知意)，修改 Map/Reduce Master 和 DFS Master，User name 设置为你启动 hadoop 的名称。

设置 Advanced parameters

修改 hadoop.tmp.dir 为你 hadoop 集群中设置的目录

修改 dfs.replication 为你 hdfs-site.xml 文件中配置的值

重启 eclipse