35:Kafka源码解读中分区数、Consumer并行度等
2016-07-11 10:48
615 查看
本期内容:
1 Kafka中分区深度解析
2 Consumer并行度深度解析
Partition.scala:
Kafka完成稿吞吐性,是由于:
1. 对顺序读写采用OS的page级别的缓存,而不是使用内存。
2. Topic partition进行分布式
KafkaServer:是一个NIO socket server。
KafkaController
partition会有目录。其中有log本身,以及
ReplicaManager
kafka-console-peoducer、kafka-console-consumer
从一个分区开始对生产、消费进行调试试验。
Partition.scala
KafkaProducer:partition、
consumer group中的 一个consumer可以消费一个Topic下的一个分区,也可以消费其它分区。
ConsumerIterator:makeNext、
SimpleConsumer:可以进行更细粒度的访问控制。fetch。
1 Kafka中分区深度解析
2 Consumer并行度深度解析
Partition.scala:
Kafka完成稿吞吐性,是由于:
1. 对顺序读写采用OS的page级别的缓存,而不是使用内存。
2. Topic partition进行分布式
KafkaServer:是一个NIO socket server。
KafkaController
partition会有目录。其中有log本身,以及
ReplicaManager
kafka-console-peoducer、kafka-console-consumer
从一个分区开始对生产、消费进行调试试验。
Partition.scala
KafkaProducer:partition、
consumer group中的 一个consumer可以消费一个Topic下的一个分区,也可以消费其它分区。
ConsumerIterator:makeNext、
SimpleConsumer:可以进行更细粒度的访问控制。fetch。
相关文章推荐
- Android自定义View——自由定制优惠券背景
- JavaScript的格式--从格式做起,做最严谨的工程师
- React Native 学习之Image组件
- 【Linux】shell变量篇(收藏)
- sentinel-redis 使用总结
- 脚本问题解决积累
- 选了3个短信平台进行对比
- Spark定制班第34课:Kafka源码解读概述和入口类经典解读
- Codeforces #179(Div 2)C Greg and Array
- See You Again--Wiz Khalifa
- 销售,一场零存整取的游戏
- 文件传输基础——Java IO流
- hadoop源码分析解读入门
- JavaScript的数据类型---最全,最详细的数据类型,高级的工程师从数据类型开始
- 练习27~30——判断,布尔值,if&else
- Tomcat 指定的服务已存在 Failed installing 'Tomcat8'
- hdu 4081 Qin Shi Huang's National Road System
- 给自定义控件添加自定义属性--declare-styleable
- description和debugDescription在调试程序时使用总结
- .properties 文件