用虚拟机安装、启动、停用hadoop2.6.0（实现hdfsHA和ResourceManagerHA）步骤小记

安装：

1.安装linux系统

2.关闭系统防火墙（root）

3.安装jdk，并配置相应的环境变量（root）

4.规划集群的网络，并配置/etc/hosts文件来建立主机名和ip的映射（root）

5.创建用户及用户组，比如用户名和用户组均为hadoop（root）

6.配置ssh无密码登录（hadoop），并配置/etc/ssh/sshd_config（root）

7.在etc/sudoers中为hadoop用户配置相应权限方便日后操作

8.解压hadoop2.6.0并改名为hadoop2（hadoop），配置/etc/profile并使之生效（root）

9.更改hadoop2的配置文件（包括yarn-env.sh）（hadoop）

10.创建配置文件中用到的本地目录(包括/tmp/logs)，权限为755，mkdir -m 755 xxx （hadoop）

（11.把所有主机之间的ssh登录调通）

（若要实现automatic-failover以及resourcemanager的HA特性还需要在其中3台主机安装Zookeeper）

--------------------------------------------------------------------------------

启动：

1.启动Zookeeper:在3台主机上分别执行zkServer.sh start

2.初始化zkfc：在其中一台namenode上执行hdfs zkfc -formatZK ##This will create a znode in ZooKeeper inside of which the automatic failover system stores its data.

3.启动dfs：执行start-dfs.sh，由于设置了automatic failover，所以无需手动启动zkfc，否则在每台namenode上执行hadoop-daemon.sh start zkfc ##Since automatic failover has been enabled in the configuration, the start-dfs.sh script will now automatically start a ZKFC daemon on any machine that
runs a NameNode. When the ZKFCs start, they will automatically select one of the NameNodes to become active.

注意：如果是第一次启动dfs，只能按下面3'的步骤分部启动1）、2）、3）

3'.或者分别启动namenode和datanode等：

1）启动journalnode：在各安装了journalnode的节点执行hadoop-daemon.sh start journalnode，或者在client执行hadoop-daemons.sh start journalnode

2）在master1上格式化并启动：hdfs namenode -format -clusterId cid;hadoop-daemon.sh start namenode。

3）在masterha1上同步standby并启动：hdfs namenode -bootstrapStandby；hadoop-daemon.sh start namenode。

4）手动启动zkfc：hadoop-daemon.sh start zkfc

5）若非automatic failover，则手动切换Active：hdfs haadmin -ns clusterA -transitionToActive nn1

6）在master1上，启动所有datanode：hadoop-daemons.sh start datanode

4.启动yarn：在ResourceManagerHA中的一台主机上执行start-yarn.sh，注意目前的版本需要在ResourceManagerHA的另一台主机执行yarn resourcemanager来手动启动resourcemanager，后启动的会成为standby状态（在stop-yarn.sh后再结束此进程即可关闭此resourcemanager）

5.启动MR JobHistory Server：mr-jobhistory-daemon.sh start historyserver

----------------------------------------------------------------------------------

停止：

1.停止MR JobHistory Server：mr-jobhistory-daemon.sh stop historyserver

2.停止yarn：在ResourceManagerHA中的active主机上执行stop-yarn.sh，然后在standby的主机直接终止resourcemanager进程。（如果在standby主机上执行stop-yarn.sh则不能终止任何resourcemanager，需要再手动在两个RM主机上终止进程）

3.停止namenode，datanode，journalnode，zkfc：stop-dfs.sh

4.停止Zookeeper：在各Zookeeper Server上执行zkServer.sh stop。