kafka之simpleConsumer
2015-01-14 15:15
393 查看
Kafka提供了两套API给Consumer
The high-level Consumer API
The SimpleConsumer API
第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次
在一个处理过程中只消费Partition其中的一部分消息
添加事务管理机制以保证消息被处理且仅被处理一次
使用SimpleConsumer有哪些弊端呢?
必须在程序中跟踪offset值
必须找出指定Topic Partition中的lead broker
必须处理broker的变动
使用SimpleConsumer的步骤
从所有活跃的broker中找出哪个是指定Topic Partition中的leader broker
找出指定Topic Partition中的所有备份broker
构造请求
发送请求查询数据
处理leader broker变更
The high-level Consumer API
The SimpleConsumer API
第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次
在一个处理过程中只消费Partition其中的一部分消息
添加事务管理机制以保证消息被处理且仅被处理一次
使用SimpleConsumer有哪些弊端呢?
必须在程序中跟踪offset值
必须找出指定Topic Partition中的lead broker
必须处理broker的变动
使用SimpleConsumer的步骤
从所有活跃的broker中找出哪个是指定Topic Partition中的leader broker
找出指定Topic Partition中的所有备份broker
构造请求
发送请求查询数据
处理leader broker变更
相关文章推荐
- Kafka详解五、Kafka Consumer的底层API- SimpleConsumer
- 针对kafka的simpleConsumer查询方法
- Kafka Consumer的底层API- SimpleConsumer
- Kafka详解五、Kafka Consumer的底层API- SimpleConsumer
- Kafka详解五:Kafka Consumer的底层API- SimpleConsumer
- Kafka具体解释五、Kafka Consumer的底层API- SimpleConsumer
- Kafka学习记录
- Kafka学习整理三(borker(0.9.0及0.10.0)配置)
- 图并行计算实践(二)(spark streaming+graphx+kafka)
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- Kafka的topic限制是多少
- kafka集群配置
- 2016年大数据Spark“蘑菇云”行动之spark streaming消费flume采集的kafka数据Directf方式
- 安装kafka
- Kafka维护问题总结
- springboot集成kafka
- Windows 安装Kafka
- 单机环境搭建kafka
- Kafka主要参数详解
- Kafka技术内幕