您的位置:首页 > 其它

kafka学习总结之集群部署和zookeeper

2017-04-11 10:22 465 查看
1、 集群部署

kafka集群的瓶颈主要在网络和磁盘上;kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败。



图 1 kafka流程图

2、 zookeeper在kafka中所起的作用

(1)记录kafka的节点(broker)信息,当有新的节点加入或者退出时,zookeeper会作相应的调整。

(2)记录group中消费的partition的最大偏移量,保证消息不会被重复消费和不被消费

(3)记录consumer信息和consumer消费的分区对应关系,主要是为了保证负载均衡(消息消费请求被均匀的分布到不同的消费者),和当有消息到时,提醒consumer进行消费。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: