KafkaConsumer0.9(一)
2016-01-12 15:05
253 查看
Kafka0.9发布了新版consumer client。它与旧版本最大的区别是移除了基于zookeeper的high-level consumer和low-level SimpleConsumer,而代之于一个统一的consumer API,它集成了之前high-level consumer的group管理功能和low-level consumer的offset控制功能。
新的consumer实现了一套新的group管理机制,它使得consumer clients变得更简洁(真的比以前简洁很多。。。),并且获得更快的rebalancing。同时这个版本也完全解除了consumer client对zookeeper的依赖,直接访问kafka server使得consumer变得简单,并且能够使用到kafka server提供的安全(security)和配额机制(quota)。
这里多说一句,consumer不依赖zookeeper是对的,由于zookeeper本质上是一个cp而不是ap系统,它更适于用于服务协调而不是服务发现,因为对于后者来说,信息中可能包含错误总比没有信息要好。
为了让用户平滑地升级,0.8的consumer依然可以连接到0.9的kafka cluster。
阅读更多相关文章推荐
- KafkaConsumer0.9(三)
- KafkaConsumer0.9(三)
- kafka0.9 producer与consumer参数
- Apache Kafka 0.9 KafkaConsumer
- KafkaConsumer0.9(二)
- kafka-hadoop-consumer
- kafka consumer java 开发
- Kafka 0.10 KafkaConsumer流程简述
- Kafka 0.10 KafkaConsumer流程简述
- Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新Client API的使用要点,高可用性测试,以及各种坑
- 解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题
- 【疑难杂症】记录 kafka.common.ConsumerRebalanceFailedException:异常
- apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
- kafka.common.ConsumerRebalanceFailedException异常解决
- HadoopConsumer——消费kafka中若干topic的消息,追加存储至hdfs的不同文件内
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- kafka--- consumer 消费消息
- kafka consumer group的删除和offset恢复
- 如何确定Kafka的分区数、key和consumer线程数
- Kafka设计解析(四)- Kafka Consumer设计解析