Windows下配置Hadoop环境（全过程）

1、首先到官方下载官网的hadoop2.7.7,链接如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

2、下载对应版本都是hadooponwindows-master.zip

 下载网址：https://github.com/4ttty/winutils

或者找网盘的hadooponwindows-master.zip

链接如下：https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw

提取码：y9a4

1. 把hadoop-2.7.7.tar.gz解压后，使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
2. 配置JAVA_HOME
3. 

 

注意：
　　安装JDK时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。

1. 配置HADOOP_HOME

 

path添加%HADOOP_HOME%\bin（win10不用分号或者如下编辑界面不用分号，其余加上 ；）

转存失败重新上传取消

 

6、配置hadoop-env.cmd

注意其中PROGRA~1代表Program Files,解决jdk的安装路径空格问题（中间有个空格）

或加引号“C:\Program Files”\Java\jdk1.8.0_181(在有空格的部分加引号)

转存失败重新上传取消 转存失败重新上传取消

7、配置hdfs-site.xml

在E:\Hadoop-2.7.7目录下 添加tmp文件夹
在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode，datanode子文件夹

<configuration>  <!-- 这个参数设置为1，因为是单机版hadoop -->  <property>  <name>dfs.replication</name> <value>1</value> </property>  <property>  <name>dfs.permissions</name>         <value>false</value> </property>  <property>  <name>dfs.namenode.name.dir</name>  <value>F:/hadoop/data/namenode</value>  </property>  <property>         <name>dfs.datanode.data.dir</name>  <value>F:/hadoop/data/datanode</value>  </property>   <property>  <name>fs.checkpoint.dir</name>  <value>F:/hadoop/data/snn</value>  </property>  <property>  <name>fs.checkpoint.edits.dir</name>  <value>F:/hadoop/data/snn</value>  </property>  </configuration>

9、配置mapred-site.xml

<configuration>  <property>  <name>mapreduce.framework.name</name>  <value>yarn</value> </property>  </configuration>

10、配置yarn-site.xml

<configuration>  <property>  <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property>  <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hahoop.mapred.ShuffleHandler</value>  </property>  </configuration>

11、配置core-site.xml

<configuration>  <property>  <name>fs.defaultFS</name>  <value>hdfs://localhost:9000</value>  </property>  </configuration>

 

12 把hadoop.dll和winutils.exe拷贝到 C:\Windows\System32

 

 

转存失败重新上传取消 转存失败重新上传取消

转存失败重新上传取消 转存失败重新上传取消

 

13share\hadoop\yarn\timelineservice

下面的hadoop-yarn-server-timelineservice-2.9.2.jar

复制到share\hadoop\yarn\lib下即可

14.cmd进入E:/Hadoop2.7.7/hadoop2.7.7/bin目录，输入hdfs namenode -format 格式化hdfs，看到seccessfully就说明format成功

转存失败重新上传取消 转存失败重新上传取消

15、转到Hadoop-2.7.3\sbin文件下

 

转存失败重新上传取消 转存失败重新上传取消

 

16输入start-all，启动hadoop集群

17

1. 启动hadoop集群成会出现下面四个窗口namenode. Datanode

Nodemanager resourceManager

转存失败重新上传取消 转存失败重新上传取消

转存失败重新上传取消 转存失败重新上传取消

转存失败重新上传取消 转存失败重新上传取消 转存失败重新上传取消 转存失败重新上传取消18

1. 输入jps  可以查看运行的所有节点

转存失败重新上传取消 转存失败重新上传取消

 

19访问http://localhost:8088,访问yarn的web界面，有就表明已经成功

转存失败重新上传取消 转存失败重新上传取消

1. 访问http://localhost:50070,访问hadoop的web界面

转存失败重新上传取消 转存失败重新上传取消