Win10 下 hadoop3.0.0 单机部署
前言
因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试。顺便记录下采坑步骤,方便碰到同样问题的朋友们。
安装步骤
一、下载 hadoop-XXX.tar.gz
下载地址:http://archive.apache.org/dist/hadoop/core/
将文件解压至无空格目录下,好像时间有那么点点久。。。。。
注:解压需管理员权限!!!
添加环境变量
添加HADOOP_HOME配置
在 path 中添加 bin 目录 C:\hadoop-3.0.0\bin
JAVA_HOME
二、hadoop配置
1、修改C:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/C:/hadoop-3.0.0/data/tmp</value>
</property>
</configuration>
2、修改C:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
3、在C:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:
- 在D:/hadoop-3.0.0/data目录下创建datanode目录;
- 在D:/hadoop-3.0.0/data目录下创建namenode目录;
4、修改C:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:
<configuration> <!-- 这个参数设置为1,因为是单机版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/C:/hadoop-3.0.0/data/namenode</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/C:/hadoop-3.0.0/data/snn</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/C:/hadoop-3.0.0/data/snn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/C:/hadoop-3.0.0/data/datanode</value> </property> </configuration>
5、修改C:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
6、修改C:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,添加
set JAVA_HOME=%JAVA_HOME%
set HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin
7、bin目录替换
至https://github.com/steveloughran/winutils下载解压,然后找到对应的版本后完整替换bin目录即可
至此,我们的配置就完成了
三、启动服务
1、打开cmd
cd C:\hadoop-3.0.0\bin hdfs namenode -format
2、通过start-all.cmd启动服务:
C:\hadoop-3.0.0\sbin\start-all.cmd
然后可以看到同时打开了4个cmd窗口
- Hadoop Namenode
- Hadoop datanode
- YARN Resourc Manager
- YARN Node Manager
通过http://127.0.0.1:8088/即可查看集群所有节点状态:
访问http://localhost:9870/即可查看文件管理页面:
总结
一次还算比较顺利的采坑,后面准备开始肝项目了 orz。。。
- hadoop之单机模式与伪分布式模式部署
- 基于docker1.7.03.1单机上部署hadoop2.7.3集群
- 用Linux Container在单机上部署完全分布式的Hadoop集群
- Ubuntu下Hadoop单机部署及分布式集群部署
- Hadoop-HBase 单机部署
- ubuntu部署hadoop之单机模式与伪分布式模式(个人笔记)
- win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机
- hadoop单机部署伪分布式系列1:HDFS
- Hadoop 2.7.3 源码编译+单机及分布式部署
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- Hadoop单机部署方法
- hadoop伪分布单机部署实践
- hadoop2.0单机部署(配置文件)
- centos hadoop 单机部署环境搭建
- hadoop 2.5.1单机安装部署伪集群
- Hadoop单机模式部署
- windows下hadoop的单机伪分布式部署(1)
- Hadoop单机部署文档
- linux(redhat)环境下Hadoop 2.2.0安装部署(单机伪分布式)
- Hadoop-1.x 单机模式部署与测试