Hadoop系列-Windows 环境中 Eclipse 用Maven构建Hadoop项目

1. 问题提出

大家都知道在windows 下用eclipse 开发Java 代码非常方便，但是如何在windows环境中构建Eclipse项目，并且连接到远程hadoop是一个非常繁琐的事情。

有人通过eclipse插件方式连接- hadoop-eclipse-plugin-2.6.0.jar. 具体请参考以下博文

http://my.oschina.net/muou/blog/408543?fromerr=4HUy3g6f

下面介绍的是另外一种通过Maven构建Hadoop 项目，并且连接远程hadoop的例子。

2. 开发坏境

Wind 7 64 bit

jdk1.8.0_60 http://pan.baidu.com/s/1skblX3B
Hadoop 2.6 - http://pan.baidu.com/s/1eRndCKa
apache-maven-3.3.9  - http://pan.baidu.com/s/1kUcKeov
Hadoop2.6 windows 编译库 - http://pan.baidu.com/s/1c1euqm0
Eclipse Java EE IDE for Web Developers. Version: Mars.1 Release (4.5.1)

3. 实现步骤

因为我不想写一个傻瓜式guide，所以很多步骤请大家自己来做。

3.1 安装java jdk1.8.0_60 和 hadoop 2.6

环境变量： JAVA_HOME,Hadoop_home,Classpath 和Path。







3.2 Windows 下安装Eclipse

3.3 Windows 下安装Maven

添加环境变量PATH:

C:\lone_zz\software\hadoop\toolkit\maven_3_3_9\bin;



3.4 因为eclipse 自带Maven插件，无需额外安装。

 如果eclipse版本低，请参考其他blog安装

3.5 在eclipse中创建maven project.

这里推荐用 cmd 命令方式创建， 然后 import到 Eclipse 的 Maven project中去， 具体步骤可以参见其他blog，非常简单。

1).用Maven创建一个标准化的Java项目

参考命令：

mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes-DgroupId=org.allen.myhadoop.mr -DartifactId=myHadoop
-DpackageName=org.allen.myhadoop.mr-Dversion=1.0-SNAPSHOT -DinteractiveMode=false

cd myHadoop

mvn clean
install

2).导入项目到eclipse

3).增加hadoop依赖，修改pom.xml
关键的部分是修改POM.xml,这个是 hadoop 2.6的

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>

   <groupId>org.allen.myhadoop.mr</groupId>

   <artifactId>myHadoop</artifactId>

   <version>1.0-SNAPSHOT</version>

   <packaging>jar</packaging>

   <name>myHadoop</name>

   <url>http://maven.apache.org</url>

  <properties>

    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

  </properties>

  <dependencies>

    <dependency>

    <groupId>junit</groupId>

    <artifactId>junit</artifactId>

    <version>3.8.1</version>

    <scope>test</scope>

    </dependency>

 

    <dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-common</artifactId>

    <version>2.6.0</version>

    <exclusions>

    <exclusion>

    <groupId>jdk.tools</groupId>

    <artifactId>jdk.tools</artifactId>

    </exclusion>

    </exclusions>

    </dependency>

bbbd
  <dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-hdfs</artifactId>

    <version>2.6.0</version>

  </dependency>

  <dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-client</artifactId>

    <version>2.6.0</version>

  </dependency>

  <dependency>

    <groupId>jdk.tools</groupId>

    <artifactId>jdk.tools</artifactId>

    <version>1.6</version>

    <scope>system</scope>

    <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>

  </dependency>

 </dependencies>

</project>

4).下载依赖

参考命令：C:\Users\allen\workspace\myHadoop>mvn clean install

5).从Hadoop集群环境下载hadoop配置文件
导入hadoop
配置文件，core-site.xml hdfs-site.xml 和 mapred-site.xml

具体如下图：



6).配置本地host

修改hosts文件,将运行hadoop的ip
和服务器名称添加进去。

c:/Windows/System32/drivers/etc/hosts

3.6
模拟hadoop windows 环境

其实很简单，只需要解压Hadoop2.6
windows 编译库， 将里面的内容放入 windows/system32 下面。

3.7
创建WordCount.java 程序，并且配置好参数，然后正常运行该程序。

这里并不是将
export出来的jar包上传到hadoop远程服务器上运行，而是本机运行，哪里报错直接调试哪里。

当程序调试成功，再放到服务器运行：

如果无法正常输出日志，请在eclipse
添加log4j.properties

/myHadoop/src/main/java/log4j.properties

log4j.rootLogger=debug,stdout,R 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 

log4j.appender.R=org.apache.log4j.RollingFileAppender 

log4j.appender.R.File=mapreduce_test.log 

log4j.appender.R.MaxFileSize=1MB 

log4j.appender.R.MaxBackupIndex=1

log4j.appender.R.layout=org.apache.log4j.PatternLayout 

log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 

log4j.logger.com.codefutures=DEBUG

#end

eclipse导出jar包用以下方法

File-> export -> java -> JAR file

好了，今天是元旦，祝大家新年快乐！天天进步！

转载请注明出处，支持原创！