kafka学习总结之集群部署和zookeeper
2017-04-11 10:22
465 查看
1、 集群部署
kafka集群的瓶颈主要在网络和磁盘上;kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败。
图 1 kafka流程图
2、 zookeeper在kafka中所起的作用
(1)记录kafka的节点(broker)信息,当有新的节点加入或者退出时,zookeeper会作相应的调整。
(2)记录group中消费的partition的最大偏移量,保证消息不会被重复消费和不被消费
(3)记录consumer信息和consumer消费的分区对应关系,主要是为了保证负载均衡(消息消费请求被均匀的分布到不同的消费者),和当有消息到时,提醒consumer进行消费。
kafka集群的瓶颈主要在网络和磁盘上;kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败。
图 1 kafka流程图
2、 zookeeper在kafka中所起的作用
(1)记录kafka的节点(broker)信息,当有新的节点加入或者退出时,zookeeper会作相应的调整。
(2)记录group中消费的partition的最大偏移量,保证消息不会被重复消费和不被消费
(3)记录consumer信息和consumer消费的分区对应关系,主要是为了保证负载均衡(消息消费请求被均匀的分布到不同的消费者),和当有消息到时,提醒consumer进行消费。
相关文章推荐
- Kafka学习之三 Kafka线上环境集群部署及客户端应用
- Kafka集群搭建01-Zookeeper 集群部署
- 云计算学习总结(1)——PaaS云平台部署之在Centos7搭建Mesos+Zookeeper+Marathon+Docker单机集群
- CenterOs下kafka、zookeeper、storm集群环境变量配置及启动命令总结
- 20171006Zookeeper/Kafka学习总结
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)
- 学习总结三:搭建ZooKeeper服务器集群
- 消息中间件 kafka+zookeeper 集群部署、测试与应用(1)
- 生产环境实战spark (11)分布式集群 5台设备 Zookeeper集群、Kafka集群安装部署
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)【转】
- Tomcat学习总结(8)——Tomcat+Nginx集群解决均衡负载及生产环境热部署
- zookeeper+Kafka集群部署
- kafka集群和zookeeper集群的部署,kafka的java代码示例
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)
- dubbo学习之dubbo管理控制台装配及集成zookeeper集群部署(1)【转】
- dubbo学习及集成zookeeper集群部署
- zookeeper+kafka集群安装部署
- dubbo学习及集成zookeeper集群部署