Hadoop 2.5.1高可用,hadoop2.5.1+zookeeper3.4.6+hbase1.2.1
2016-06-29 16:06
585 查看
最近,想弄一个hadoop高可用方案,折腾了好久,把搭建过程中的一些问题,记录下来,备日后查询。
环境:centos 6.5 64位,jdk 1.7.0_79,hadoop2.5.1,hbase1.2.1,zookeeper3.4.6
机器四台:master,slave1,slave2,slave3
其中:namenode:master,slave1
HMaster:master,slave1
regionserver:slave1,slave2,slave3
journalnode:master,slave1,slave2
zookeeper:slave1,slave2,slave3
具体配置过程,参考了这篇博客,hadoop HA 集群搭建 和
Hadoop HA高可用集群搭建,这里具体记录一下 遇到的
问题和解决办法:
1 配置完以后,执行hdfs zkfc -formatZK时一直报错:HA is not enabled for this namenode.,纠结了两天,最后翻
源码,终于发现,是hdfs的dfs.namenode.rpc-address.gagcluster.nn1写成了namenodes,多了一个s
2 配置完成以后,执行start-hbase.sh,只能启动hmaster,regionserver和备用hmaster无法启动,一直报无法解析
HA的别名gagcluster,也就是core-site.xml里配置的fs.defaultFS的值,hdfs://gagcluster:9000,这里的这个
gagcluster,解决办法就是将hadoop的hdfs-site.xml和core-site.xml放到hbase的conf下。
其实整个过程就是一直在改配置文件。
ps:配置了HA之后,secondaryname是不启动的,如果用hadoop-daemon强行启动,报错, Cannot use
SecondaryNameNode in an HA cluster. The Standby Namenode will perform checkpointing.
standby的namenode一直在执行secondarynamenode的作用,不需要再启动secondarynamenode。
环境:centos 6.5 64位,jdk 1.7.0_79,hadoop2.5.1,hbase1.2.1,zookeeper3.4.6
机器四台:master,slave1,slave2,slave3
其中:namenode:master,slave1
HMaster:master,slave1
regionserver:slave1,slave2,slave3
journalnode:master,slave1,slave2
zookeeper:slave1,slave2,slave3
具体配置过程,参考了这篇博客,hadoop HA 集群搭建 和
Hadoop HA高可用集群搭建,这里具体记录一下 遇到的
问题和解决办法:
1 配置完以后,执行hdfs zkfc -formatZK时一直报错:HA is not enabled for this namenode.,纠结了两天,最后翻
源码,终于发现,是hdfs的dfs.namenode.rpc-address.gagcluster.nn1写成了namenodes,多了一个s
2 配置完成以后,执行start-hbase.sh,只能启动hmaster,regionserver和备用hmaster无法启动,一直报无法解析
HA的别名gagcluster,也就是core-site.xml里配置的fs.defaultFS的值,hdfs://gagcluster:9000,这里的这个
gagcluster,解决办法就是将hadoop的hdfs-site.xml和core-site.xml放到hbase的conf下。
其实整个过程就是一直在改配置文件。
ps:配置了HA之后,secondaryname是不启动的,如果用hadoop-daemon强行启动,报错, Cannot use
SecondaryNameNode in an HA cluster. The Standby Namenode will perform checkpointing.
standby的namenode一直在执行secondarynamenode的作用,不需要再启动secondarynamenode。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Facebook's New Real-time Messaging System: HBase to Store 135+ Billion Messages a Month
- 单机版搭建Hadoop环境图文教程详解
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- hadoop常见错误以及处理方法详解
- 基于HBase Thrift接口的一些使用问题及相关注意事项的详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Shell脚本实现自动安装zookeeper
- 基于Zookeeper的使用详解
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- 如何解决struts2日期类型转换
- Eclipse中查看android工程代码出现"android.jar has no source attachment"的解决方案
- 基于Java实现杨辉三角 LeetCode Pascal's Triangle
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍