window下hadoop的安装和eclipse开发环境配置

全栈工程师开发手册 （作者：栾鹏）

python数据挖掘系列教程

hadoop下载

这里下载的hadoop-2.7.5.tar.gz

http://mirror.bit.edu.cn/apache/hadoop/common/

或者下载hadoop-2.7.3.tar.gz

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

我们这里使用2.7.5

确保操作系统是64bit，已安装.netframework，要4.0以上版本，一般现在的windows系统都有自带的。

确保安装并配置了64位的Java1.7以上版本。我这里用的是64位的JDK1.8.0。不能使用32位的java。

环境变量中配置

JAVA_HOME：C:\Program Files\Java\jdk1.8.0_161
CLASSPATH：%JAVA_HOME%\lib
Path：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

解压也不细说了，注意路径里不要带空格，否则可能会无法正确识别。这里复制到G盘根目录直接解压，出来一个目录G:\hadoop-2.7.5

（解压后会提示报错说有两个.so的文件没法创建链接，不用管直接干）

配置环境变量

创建HADOOP_HOME为G:\hadoop-2.7.2



在PATH里加上%HADOOP_HOME%\bin；

配置设置

到hadoop根目录，如果没有data文件夹的话就新建一个，然后在data下分别创建datanode、namenode两个文件夹

下载相关工具类，直接解压后把文件丢到G:\hadoop-2.7.5\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

去G:\hadoop-2.7.5\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core-site.xml

<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<!--用来指定使用hadoop时产生文件的存放目录
<property>
<name>hadoop.tmp.dir</name>
<value>file:///usr/hadoop/hadoop-2.6.0/tmp</value>
</property>
-->

<!--用来设置检查点备份日志的最长时间
<name>fs.checkpoint.period</name>
<value>3600</value>
-->
</configuration>

hdfs-site.xml

<configuration>
<!--指定DataNode存储block的副本数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--指定hdfs中namenode的存储位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hadoop-2.7.5/data/namenode</value>
</property>
<!--指定hdfs中datanode的存储位置。这里要配置自己的位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/hadoop-2.7.5/data/datanode</value>
</property>
</configuration>

mapred-site.xml

若目录中无此文件，则创建该文件。

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

yarn-site.xml

<!--nomenodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn的老大(ResourceManager)的地址
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
-->
<!--Yarn打印工作日志-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

hadoop-env.cmd

set JAVA_HOME=C:\progra~1\Java\jdk1.8.0_161

其中java的安装路径使用你自己的路径，由于Program Files中有空格，所以使用progra~1代码

第一次启动前操作

启动windows命令行窗口，切换到hadoop的bin目录。进行以下操作

hdfs namenode -format

格式化HDFS文件系统，切换到bin目录然后执行命令：

到这里，你的hadoop就可以正常使用了。可以查看一下版本 hadoop version

启动hadoop集群

切换到hadoop的 sbin目录 执行：start-all.cmd

启动会弹出数个窗口，启动完成需要数秒时间，所以要稍等片刻才能成功访问下面的网址。

hadoop管理界面：http://localhost:8088

NameNode界面：http://localhost:50070

HDFS NameNode界面：http://localhost:8042

如果重启hadoop无需再格式化namenode，只要stop-all.cmd再start-all.cmd就可以了。

配置开发环境

下载：

hadoop-eclipse-plugin-2.7.5.jar

将其拷贝到eclipse中的plugins中。

重新启动eclipse，打开windows->Preferences的Hadoop Map/Reduce中设置安装目录:



打开Windows->Open Perspective打开透视图中的Map/Reduce，在此perspective下进行hadoop程序开发。



打开Windows->Show View显示视图中的Map/Reduce Locations，如下图



右键选择New Hadoop location…新建hadoop连接。



配置hadoop连接



Map/Reduce Master

Host：localhost（Master.Hadoop的IP地址, 与集群的mapred-site.xml文件中配置的一样）

Port：50020 （与集群的mapred-site.xml文件中配置的一样）

因为我们并没有配置，所以使用默认的。

DFS Master

Use M/R Master host：前面的勾上。（因为我们的NameNode和JobTracker都在一个机器上。）

Port：9000（与集群的core-site.xml文件中配置的一样）

完成配置，显示连接信息（只有hadoop集群启动了才能连接成功哦）

连接成功！可以新建项目了咯

新建->项目->Map/Reduce Project



至此配置已完成！