zookeeper分布式应用程序协调服务
2019-01-04 23:29
120 查看
版权声明:该版权归博主个人所有,在非商用的前提下可自由使用,转载请注明出处. https://blog.csdn.net/qq_24696571/article/details/85808293
- ZooKeeper是一个分布式的应用程序协调服务
- ZooKeeper是Hadoop和Hbase的重要组件,Hbase和ZooKeeper之间具有强依赖的关系.
- ZooKeeper为分布式应用提供一致性服务,它的功能包括:配置维护/域名服务/分布式同步/组服务和分布式锁的服务等.
- ZooKeeper角色图
- 各服务器和Leader发生数据交换,Leader保证集群的数据同步
- Follower和Leader可以选举Leader
- Leader(领导者)负责投票和决定
- Flower(跟随者)负责将请求转发给leader,返回结果,参与投票
- ObServer(观察者)负责将请求转发leader,ObSserver不参与投票,只数据同步,定位是扩展系统弄和提高读取速度
- ZooKeeper的特点
数据一致
可靠:消息备一台服务器接受,就被其他所有服务器接受
独立性:服务器间互不干预
实时性,客户端得到的数据不一定是最新的,用sync接口可以获得最新数据
独立性
原子性,请求如果不成功就失败,没有中间转台
顺序性,服务器发布消息的顺序一致
- YARN资源管理任务调度流程
- - 客户端提交一个任务或者请求或者操作给yarn的ResourceManager资源管理,ResourceManager掌握整个集群的资源
- ResourceManager会根据它掌握的信息,随机找一台DateNode启动ApplicationMater进行任务调度.
- ApplicationMaster启动后,开始任务调度,向ResourceManager请求资源,用来启动进程(Executor),执行任务
- ResourceManager将任务的资源信息返回给ApplicationMaster
- ApplicationMaster获得资源信息 , 去执行任务.去指定的DateNode启动进程,然后对应的资源返回给客户端
相关文章推荐
- 集群与负载均衡技术学习笔记二 分布式应用程序协调服务zookeeper
- 详解分布式应用程序协调服务Zookeeper
- ZooKeeper 开放源码的分布式应用程序协调服务
- 分布式应用程序协调服务zookeeper
- 分布式应用程序协调服务Zookeeper
- Zookeeper(分布式应用程序协调服务)
- Zookeeper: 一个分布式应用程序协调服务
- hadoop之 Zookeeper 分布式应用程序协调服务
- hadoop之 Zookeeper 分布式应用程序协调服务
- 浅谈分布式服务协调技术 Zookeeper
- 详解分布式协调服务 ZooKeeper
- 知识链-分布式协调服务zookeeper
- zookeeper分布式协调服务的使用一
- Zookeeper详细教程、分布式协调服务原理
- 浅谈分布式服务协调技术 Zookeeper
- Zookeeper-5分钟快速掌握分布式应用程序协调服
- 详解分布式协调服务 ZooKeeper
- Zookeeper详细教程、分布式协调服务原理
- Zookeeper详细教程、分布式协调服务原理
- 分布式协调服务---Zookeeper