您的位置:首页 > 其它

KafkaConsumer0.9(一)

2016-01-12 15:05 253 查看

Kafka0.9发布了新版consumer client。它与旧版本最大的区别是移除了基于zookeeper的high-level consumer和low-level SimpleConsumer,而代之于一个统一的consumer API,它集成了之前high-level consumer的group管理功能和low-level consumer的offset控制功能。

 

新的consumer实现了一套新的group管理机制,它使得consumer clients变得更简洁(真的比以前简洁很多。。。),并且获得更快的rebalancing。同时这个版本也完全解除了consumer client对zookeeper的依赖,直接访问kafka server使得consumer变得简单,并且能够使用到kafka server提供的安全(security)和配额机制(quota)。

 

这里多说一句,consumer不依赖zookeeper是对的,由于zookeeper本质上是一个cp而不是ap系统,它更适于用于服务协调而不是服务发现,因为对于后者来说,信息中可能包含错误总比没有信息要好。

 

为了让用户平滑地升级,0.8的consumer依然可以连接到0.9的kafka cluster。

阅读更多
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: