您的位置:首页 > 其它

kafka之simpleConsumer

2015-01-14 15:15 393 查看
Kafka提供了两套API给Consumer
The high-level Consumer API
The SimpleConsumer API     
第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二种API能够帮助我们做哪些事情

一个消息读取多次
在一个处理过程中只消费Partition其中的一部分消息
添加事务管理机制以保证消息被处理且仅被处理一次
使用SimpleConsumer有哪些弊端呢?

必须在程序中跟踪offset值
必须找出指定Topic Partition中的lead broker
必须处理broker的变动
使用SimpleConsumer的步骤

从所有活跃的broker中找出哪个是指定Topic Partition中的leader broker
找出指定Topic Partition中的所有备份broker
构造请求
发送请求查询数据
处理leader broker变更
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  kafka