Hadoop 2.6.0 HA高可用集群配置详解(三)
2017-04-26 00:00
127 查看
Hadoop集群的启动
集群启动步骤
集群启动截图
hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC,如下图所示:
hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC,如下图所示:
hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper,如下图所示:
Web UI
下图为http://hadoop-master1:50070,可看到NameNode为active状态:
下图为http://hadoop-master2:50070,可看到NameNode为standby状态:
HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用:
下图为http://hadoop-master2:8088,可看到ResourceManager为active状态:
下图为http://hadoop-master1:8088,可看到ResourceManager为standby状态,它会自动跳转到http://hadoop-master2:8088:
下图为http://hadoop-master1:19888,可查看历史任务信息:
功能测试
// 向YARN提交MapReduce任务,该任务用于分析网站日志文件webcount.txt统计每小时的点击次数
$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1
// 通过Web UI查看任务信息和历史任务信息
本文地址:http://www.linuxprobe.com/hadoop-high-available-3.html
集群启动步骤
// 启动zookeeper集群(分别在slave1、slave2和slave3执行) $ zkServer.shstart // 启动HDFS(在master1执行) $ start-dfs.sh 备注:此命令分别在master1/master2节点启动了NameNode和ZKFC,分别在slave1/slave2/slave3节点启动了DataNode和JournalNode,如下图所示。
// 启动YARN(在master2执行) $ start-yarn.sh 备注:此命令在master2节点启动了ResourceManager,分别在slave1/slave2/slave3节点启动了NodeManager。
// 启动YARN的另一个ResourceManager(在master1执行,用于容灾) $ yarn-daemon.sh start resourcemanager // 启动YARN的安全代理(在master2执行) $ yarn-daemon.sh start proxyserver 备注:proxyserver充当防火墙的角色,可以提高访问集群的安全性 // 启动YARN的历史任务服务(在master1执行) $ mr-jobhistory-daemon.sh starthistoryserver 备注:yarn-daemon.sh start historyserver已被弃用;CDH版本似乎有个问题,即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用,实际对应的端口号是10200和8188,而且部需要配置就可以在任意节点上开启历史任务服务。
集群启动截图
hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC,如下图所示:
hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC,如下图所示:
hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper,如下图所示:
Web UI
下图为http://hadoop-master1:50070,可看到NameNode为active状态:
下图为http://hadoop-master2:50070,可看到NameNode为standby状态:
HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用:
下图为http://hadoop-master2:8088,可看到ResourceManager为active状态:
下图为http://hadoop-master1:8088,可看到ResourceManager为standby状态,它会自动跳转到http://hadoop-master2:8088:
下图为http://hadoop-master1:19888,可查看历史任务信息:
功能测试
// 向HDFS上传数据 $ hadoopfs -put webcount.txt /input // 查看HDFS上的数据 $ hadoopfs -ls /input $ hadoopfs -cat /input/webcount.txt
// 向YARN提交MapReduce任务,该任务用于分析网站日志文件webcount.txt统计每小时的点击次数
$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1
// 在HDFS查看结果 $ hadoopfs -ls /output/webcount $ hadoopfs -cat /output/webcount/part-r-00000
// 通过Web UI查看任务信息和历史任务信息
本文地址:http://www.linuxprobe.com/hadoop-high-available-3.html
相关文章推荐
- Hadoop 2.6.0 HA高可用集群配置详解
- Hadoop 2.6.0 HA高可用集群配置详解
- Hadoop 2.6.0 HA高可用集群配置详解
- Hadoop 2.7.2 HA 自动切换高可用集群配置详解
- Hadoop 2.0 HA高可用集群配置详解
- Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
- 最新Hadoop-2.7.2+hbase-1.2.0+zookeeper-3.4.8 HA高可用集群配置安装
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接] 韩克拉玛寒 韩克拉玛寒 当前离线 积分2439. 窥视卡 雷达
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- Ubuntu Hadoop 2.6.0 单机版配置图文详解
- hadoop2.4以后版本的HA高可用模式配置详解
- Hadoop 2.0 HA高可用集群安装配置
- Hadoop HA 高可用集群搭建配置(经过测试)
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- 大数据 hadoop2.6.0 高可用集群搭建(HA集群搭建)--亲测可用,入门必备
- Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装