Hadoop HA高可用集群模式搭建指南
2016-11-17 00:00
746 查看
摘要: HA模式的集群里面会部署两台NN(最多也只能两台),以形成主备NN节点,达到高可用的目的。两台NN之间同步数据有两种方法:QJM和NFC。本文选择QJM方式,下文中出现的 journalnode 即为QJM模式下的进程。 另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。 该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
HA模式的集群里面会部署两台NN(最多也只能两台),以形成主备NN节点,达到高可用的目的。两台NN之间同步数据有两种方法:QJM和NFC。本文选择QJM方式,下文中出现的 journalnode 即为QJM模式下的进程。
另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
所有四种模式的部署指南见:
Hadoop 伪分布式搭建指南
Hadoop 完全分布式搭建指南
Hadoop HA高可用集群模式搭建指南
Hadoop HA+Federation(联邦)模式搭建指南
Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机,内存都为2G
节点角色
另,以上所有节点都同时是 zookeeper、zkfc、journalnode 和 datanode。运行Namenode和ResourceManager的节点即为主节点。
更新软件源索引
分别在 h01 h02 h03 操作
安装基础软件
分别在 h01 h02 h03 操作
配置主机域名
分别在 h01 h02 h03 操作
将该文件内容修改为对应的主机名,例如 h01.vm.com
域名解析
搭建内网DNS服务器(可选,但推荐),可阅读vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts,将以下代码追加到文件末尾即可(如搭建了DNS服务器,则跳过此步骤)
分别在 h01 h02 h03 操作
!!! Ubuntu系统,须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove
不然可能会引起 hadoop、zookeeper 节点间通信的问题
时间同步(可选)
在内网中搭建 ntp 服务器,可阅读vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
准备jdk、hadoop和zookeeper软件包
须到官方网站下载stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
zookeeper-3.4.8.tar.gz
所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下,其中 vagrant 是linux系统的用户名,由于我是使用 vagrant 虚拟的主机,所以默认是 vagrant
在 h01 操作
配置软连接,方便以后升级版本
在 h01 操作,后面通过 scp 同步到其他主机
配置环境变量
分别在 h01 h02 h03 操作
配置免密码ssh登录
hadoop主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。
分别在 h01 h02 ,即两个主节点上操作
以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/)
在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03
!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!
配置从节点
在 slaves 文件中配置的主机即为从节点,将自动运行datanode服务
在 h01 操作,后面通过 scp 同步到其他主机
建立存储数据的相应目录
在 h01 操作,后面通过 scp 同步到其他主机
配置hadoop参数
在 h01 操作,后面通过 scp 同步到其他主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
安装配置zookeeper
在 h01 操作,后面通过 scp 同步到其他主机
将hadoop所需文件同步到其他主机
在 h01 上操作
!!! 注意:default 软连接需要重建 !!!
修改各节点的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件,内容为各节点编号,本例中为 1,2,3
启动zookeeper
在 h01 h02 h03 操作
启动JournalNode
在任一配置了journalnode的节点操作
格式化namenode
在 h01 namenode 上执行
!!! 注意仅在首次启动时执行,因为此命令会删除hadoop集群所有的数据 !!!
同步两个namenode数据(方法一:推荐)
在 h01 启动 namenode
在 h02 执行同步
在 h02 启动 namenode
同步两个namenode数据(方法二:不推荐,可能引起复制后的文件的权限问题)
在 h01 操作
格式化zkfc
在 h01 或 h02 (任一namenode) 上操作
!!! 注意仅在首次启动时执行 !!!
启动zkfc
在 h01 h02 h03 等计划运行zkfc的节点上操作
启动hadoop集群:
启动hdfs
可在任意主节点执行
启动Yarn
在 h02 ResourceManager 上操作
启动 job history server(可选)
在 h01 上操作
浏览服务启动情况
NameNode1
http://192.168.100.201:50070
NameNode2
http://192.168.100.202:50070
ResourceManager
http://192.168.100.202:8088
MapReduce JobHistory Server
http://192.168.100.201:19888
Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075
zookeeper
bin/zkServer.sh status
zookeeper命令行
zkCli.sh -server 127.0.0.1:2181
集群状态
bin/hdfs dfsadmin -report
hadoop进程
jps
HDFS High Availability
ResourceManager High Availability
简述
hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。HA模式的集群里面会部署两台NN(最多也只能两台),以形成主备NN节点,达到高可用的目的。两台NN之间同步数据有两种方法:QJM和NFC。本文选择QJM方式,下文中出现的 journalnode 即为QJM模式下的进程。
另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
所有四种模式的部署指南见:
Hadoop 伪分布式搭建指南
Hadoop 完全分布式搭建指南
Hadoop HA高可用集群模式搭建指南
Hadoop HA+Federation(联邦)模式搭建指南
搭建过程
系统环境Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机,内存都为2G
节点角色
IP | 主机名 | 角色描述 |
---|---|---|
192.168.100.201 | h01.vm.com | 主节点 NameNode, job-history-server |
192.168.100.202 | h02.vm.com | 主节点 NameNode, (yarn)ResourceManager |
192.168.100.203 | h03.vm.com | - |
更新软件源索引
分别在 h01 h02 h03 操作
sudo apt-get update
安装基础软件
分别在 h01 h02 h03 操作
sudo apt-get install ssh sudo apt-get install rsync
配置主机域名
分别在 h01 h02 h03 操作
sudo vim /etc/hostname # centos系统可能没有该文件,创建即可 h01.vm.com # 该节点主机名
将该文件内容修改为对应的主机名,例如 h01.vm.com
域名解析
搭建内网DNS服务器(可选,但推荐),可阅读vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts,将以下代码追加到文件末尾即可(如搭建了DNS服务器,则跳过此步骤)
分别在 h01 h02 h03 操作
sudo vim /etc/hosts 192.168.100.201 h01.vm.com h01 192.168.100.202 h02.vm.com h02 192.168.100.203 h03.vm.com h03
!!! Ubuntu系统,须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove
不然可能会引起 hadoop、zookeeper 节点间通信的问题
时间同步(可选)
在内网中搭建 ntp 服务器,可阅读vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
准备jdk、hadoop和zookeeper软件包
须到官方网站下载stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
zookeeper-3.4.8.tar.gz
所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下,其中 vagrant 是linux系统的用户名,由于我是使用 vagrant 虚拟的主机,所以默认是 vagrant
在 h01 操作
# 先在其中一台机子操作,后面会使用 scp 命令或者其他方法同步到其他主机 mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置软连接,方便以后升级版本
在 h01 操作,后面通过 scp 同步到其他主机
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置环境变量
分别在 h01 h02 h03 操作
sudo vim /etc/profile export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default export JAVA_HOME=/home/vagrant/VMBigData/java/default export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile
配置免密码ssh登录
hadoop主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。
分别在 h01 h02 ,即两个主节点上操作
ssh-keygen -t rsa -C "youremail@xx.com" # 注意在接下来的命令行交互中,直接按回车跳过输入密码
以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/)
ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名 ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名 ssh-copy-id vagrant@h03.vm.com
在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03
ssh h01.vm.com ssh h02.vm.com ssh h03.vm.com
!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!
配置从节点
在 slaves 文件中配置的主机即为从节点,将自动运行datanode服务
在 h01 操作,后面通过 scp 同步到其他主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves h01.vm.com h02.vm.com h03.vm.com
建立存储数据的相应目录
在 h01 操作,后面通过 scp 同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp mkdir -p /home/vagrant/VMBigData/hadoop/data/pid mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1 mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2 mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1 mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2 mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop参数
在 h01 操作,后面通过 scp 同步到其他主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行 export JAVA_HOME=/home/vagrant/VMBigData/java/default export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default # export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行 export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行 export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <!-- 指定hdfs的nameservice为h01,需与dfs.nameservices一致 --> <property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <!-- 指定hadoop数据存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> </configuration>
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <name>dfs.replication</name> <!-- 单机版的一般设为1,若是集群,一般设为3 --> <value>2</value> </property> <!-- 以下3个 property 的配置,是非HA模式下的,即一个集群只有一个 namenode,在这里不可使用 --> <!-- 配置Secondary NameNode在另外一个节点上,该节点也将作为主节点之一 --> <!-- <property> <name>dfs.http.address</name> <value>h01.vm.com:50070</value> <description>Secondary get fsimage and edits via dfs.http.address</description> </property> <property> <name>dfs.secondary.http.address</name> <value>h02.vm.com:50090</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/namesecondary</value> </property> --> <!-- 以下 property 配置,是haddop的HA即高可用模式,一个集群可以配置最多2个namenode --> <!-- 命名空间的逻辑名称 --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- 命名空间中所有NameNode的唯一标示。该标识指示DataNode集群中有哪些NameNode。目前最多只能配置两个NameNode --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>h01.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>h01.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>h02.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>h02.vm.com:50070</value> </property> <!-- JournalNode URLs,ActiveNameNode 会将 Edit Log 写入这些 JournalNode 所配置的本地目录即 dfs.journalnode.edits.dir --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://h01.vm.com:8485;h02.vm.com:8485;h03.vm.com:8485/ns1</value> </property> <!-- JournalNode 用于存放 editlog 和其他状态信息的目录 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 一种关于 NameNode 的隔离机制(fencing) --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence shell(/bin/true)</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/vagrant/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property> <!-- HA模式配置结束 --> <property> <name>dfs.namenode.name.dir</name> <!-- 创建的namenode文件夹位置,如有多个用逗号隔开。配置多个的话,每一个目录下数据都是相同的,达到数据冗余备份的目的 --> <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> </property> <property> <name>dfs.datanode.data.dir</name> <!-- 创建的datanode文件夹位置,多个用逗号隔开,实际不存在的目录会被忽略 --> <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> </property> </configuration>
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>h02.vm.com</value> </property> <property> <name>yarn.log-aggregation-enable</name> <!-- 打开日志聚合功能,这样才能从web界面查看日志 --> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <!-- 聚合日志最长保留时间 --> <value>86400</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <!-- NodeManager总的可用内存,这个要根据实际情况合理配置 --> <value>1024</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <!-- MapReduce作业时,每个task最少可申请内存 --> <value>256</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <!-- MapReduce作业时,每个task最多可申请内存 --> <value>512</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <!-- 可申请使用的虚拟内存,相对于实际使用内存大小的倍数。实际生产环境中可设置的大一些,如4.2 --> <value>2.1</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <!-- 中间结果存放位置。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。 --> <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <!-- 日志存放位置。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。 --> <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.resource.mb</name> <!-- 默认值为 1536,可根据需要调整,调小一些也是可接受的 --> <value>512</value> </property> <property> <name>mapreduce.map.memory.mb</name> <!-- 每个map task申请的内存,每一次都会实际申请这么多 --> <value>384</value> </property> <property> <name>mapreduce.map.java.opts</name> <!-- 每个map task中的child jvm启动时参数,需要比 mapreduce.map.memory.mb 设置的小一些 --> <!-- 注意:map任务里不一定跑java,可能跑非java(如streaming) --> <value>-Xmx256m</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>384</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx256m</value> </property> <property> <name>mapreduce.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapreduce.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.child.java.opts</name> <!-- 默认值为 -Xmx200m,生产环境可以设大一些 --> <value>-Xmx384m</value> </property> <property> <name>mapreduce.task.io.sort.mb</name> <!-- 任务内部排序缓冲区大小 --> <value>128</value> </property> <property> <name>mapreduce.task.io.sort.factor</name> <!-- map计算完全后的merge阶段,一次merge时最多可有多少个输入流 --> <value>100</value> </property> <property> <name>mapreduce.reduce.shuffle.parallelcopies</name> <!-- reuduce shuffle阶段并行传输数据的数量 --> <value>50</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>h01.vm.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>h01.vm.com:19888</value> </property> </configuration>
安装配置zookeeper
在 h01 操作,后面通过 scp 同步到其他主机
cd /home/vagrant/VMBigData/zookeeper/default/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg # 对该文件做出以下修改 dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp # 如果无法启动zookeeper,可将以下代码对应的行改为 0.0.0.0:2888:3888 # 注意zookeeper解析该文件很死板,不要输入多余的空格和空行 server.1=h01.vm.com:2888:3888 server.2=h02.vm.com:2888:3888 server.3=h03.vm.com:2888:3888
mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid # 在此文件中输入节点编号,比如h01节点就输入1,h02节点就输入2
将hadoop所需文件同步到其他主机
在 h01 上操作
scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
!!! 注意:default 软连接需要重建 !!!
修改各节点的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件,内容为各节点编号,本例中为 1,2,3
启动zookeeper
在 h01 h02 h03 操作
cd /home/vagrant/VMBigData/zookeeper/default bin/zkServer.sh start
启动JournalNode
在任一配置了journalnode的节点操作
cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemons.sh start journalnode
格式化namenode
在 h01 namenode 上执行
hdfs namenode -format
!!! 注意仅在首次启动时执行,因为此命令会删除hadoop集群所有的数据 !!!
同步两个namenode数据(方法一:推荐)
在 h01 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemon.sh start namenode
在 h02 执行同步
cd /home/vagrant/VMBigData/hadoop/default bin/hdfs namenode -bootstrapStandby
在 h02 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemon.sh start namenode
同步两个namenode数据(方法二:不推荐,可能引起复制后的文件的权限问题)
在 h01 操作
scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/ scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
格式化zkfc
在 h01 或 h02 (任一namenode) 上操作
hdfs zkfc -formatZK
!!! 注意仅在首次启动时执行 !!!
启动zkfc
在 h01 h02 h03 等计划运行zkfc的节点上操作
cd /home/vagrant/VMBigData/hadoop/default sbin/hadoop-daemon.sh start zkfc # sbin/hadoop-daemon.sh stop zkfc # 停止
启动hadoop集群:
启动hdfs
可在任意主节点执行
cd /home/vagrant/VMBigData/hadoop/default sbin/start-dfs.sh # sbin/stop-dfs.sh # 停止
启动Yarn
在 h02 ResourceManager 上操作
cd /home/vagrant/VMBigData/hadoop/default sbin/start-yarn.sh # sbin/stop-yarn.sh# 停止
启动 job history server(可选)
在 h01 上操作
cd /home/vagrant/VMBigData/hadoop/default sbin/mr-jobhistory-daemon.sh start historyserver # sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
浏览服务启动情况
NameNode1
http://192.168.100.201:50070
NameNode2
http://192.168.100.202:50070
ResourceManager
http://192.168.100.202:8088
MapReduce JobHistory Server
http://192.168.100.201:19888
Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075
zookeeper
bin/zkServer.sh status
zookeeper命令行
zkCli.sh -server 127.0.0.1:2181
集群状态
bin/hdfs dfsadmin -report
hadoop进程
jps
参考链接
HDFS High Availability Using the Quorum Journal ManagerHDFS High Availability
ResourceManager High Availability
相关文章推荐
- Hadoop HA+Federation 高可用联邦模式搭建指南
- Hadoop HA高可用集群搭建
- Hadoop HA 高可用集群搭建配置(经过测试)
- [置顶] Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
- HADOOP集群搭建实战(HA高可靠性模式)
- 【hadoop】搭建 ha 高可用集群
- Hadoop HA高可用集群环境搭建(CenOS7)
- Hadoop HA高可用集群搭建(2.7.2)
- Hadoop HA 高可用集群搭建
- Hadoop2.5的HDFS集群HA搭建(高可用集群)
- 基于ZK的Hadoop HA高可用集群搭建
- 攻城狮在路上(陆)-- hadoop分布式环境搭建(HA模式)
- Hadoop高可用集群搭建(HA)
- Hadoop HA高可用集群原理和搭建
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- Hadoop HA高可用集群搭建总结
- hadoop2.2 搭建QJM模式HA遇阻,求助贴
- Zookeeper(四)Hadoop HA高可用集群搭建
- 大数据 hadoop2.6.0 高可用集群搭建(HA集群搭建)--亲测可用,入门必备
- Hadoop真·高可用集群模式(7节点)环境搭建