一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)
2017-10-13 09:51
459 查看
1:能否让两个NameNode都正常影响客户端请求?
应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。
2:standBy状态的节点必须能够快速无缝的切换为active状态:
意味着两个NameNode必须时刻保持元数据的一致;
3:HA机制,元数据共享存储,数据同步的问题:
分布式应用:管理edits(同步数据)
qjoural:依赖zookeeper实现
4:如何避免状态切换时候发生brain split现象:
fencing:一是ssh发送kill指令,二是执行自定义shell脚本
5:hadoop分布式集群HA模式部署,三台机器跑集群:
第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1
第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2
第三台机器:Zookeeper3 journalnode3 dataNode1
6:hadoop分布式集群HA模式部署,七台机器跑集群:
第一台机器:namenode zkfc
第二台机器:namenode zkfc
第三台机器:resourcemanager
第四台机器:resourcemanager
第五台机器:zookeeper journalnode dataNode nodemanager
第六台机器:zookeeper journalnode dataNode nodemanager
第七台机器:zookeeper journalnode dataNode nodemanager
应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。
2:standBy状态的节点必须能够快速无缝的切换为active状态:
意味着两个NameNode必须时刻保持元数据的一致;
3:HA机制,元数据共享存储,数据同步的问题:
分布式应用:管理edits(同步数据)
qjoural:依赖zookeeper实现
4:如何避免状态切换时候发生brain split现象:
fencing:一是ssh发送kill指令,二是执行自定义shell脚本
5:hadoop分布式集群HA模式部署,三台机器跑集群:
第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1
第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2
第三台机器:Zookeeper3 journalnode3 dataNode1
6:hadoop分布式集群HA模式部署,七台机器跑集群:
第一台机器:namenode zkfc
第二台机器:namenode zkfc
第三台机器:resourcemanager
第四台机器:resourcemanager
第五台机器:zookeeper journalnode dataNode nodemanager
第六台机器:zookeeper journalnode dataNode nodemanager
第七台机器:zookeeper journalnode dataNode nodemanager
相关文章推荐
- 一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置
- 学习笔记 Hadoop的job提交过程,shuffle过程以及HA机制的实现
- 一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序
- 一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)
- Hadoop学习笔记(六):Hadoop读写文件时内部工作机制
- Hadoop学习笔记(六):Hadoop读写文件时内部工作机制
- 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置
- 从零开始最短路径学习Hadoop之01----Hadoop的安装配置测试
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- hadoop配置文件的加载机制 分类: A1_HADOOP 2015-01-21 11:29 839人阅读 评论(0) 收藏
- hadoop学习(九)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(2)
- hadoop学习(八)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(1)
- hadoop配置文件的加载机制
- 安装配置Hadoop的各个配置文件修改的地方以及修改的内容
- hadoop配置文件的加载机制
- 监听总结之解析问题二:由sqlnet.ora文件寻到EZCONNECT适配器程序来解析主机名为主机上的多个ip地址(*) 以及 tnsping是用来测试某个配置的监听程序是否启动
- 配置文件hadoop安装以及配置
- HADOOP学习笔记之---3、HADOOP端口和配置文件
- tomcat 下配置访问日志文件 以及 用awstats配置和分析日志(tomcat5.5 6.0测试通过)