[Kafka] - Kafka内核理解:消息存储机制
2017-11-29 21:17
337 查看
一个Topic分为多个Partition来进行数据管理,一个Partition中的数据是有序、不可变的,使用偏移量(offset)唯一标识一条数据,是一个long类型的数据
Partition接收到producer发送过来数据后,会产生一个递增的offset偏移量数据,同时将数据保存到本地的磁盘文件中(文件内容追加的方式写入数据);Partition中的数据存活时间超过参数值(log.retention.{ms,minutes,hours},默认7天)的时候进行删除(默认)
Consumer根据offset消费对应Topic的Partition中的数据(也就是每个Consumer消费的每个Topic的Partition都拥有自己的offset偏移量)
注意:Kafka的数据消费是顺序读写的,磁盘的顺序读写速度(600MB/sec)比随机读写速度(100k/sec)快
Partition接收到producer发送过来数据后,会产生一个递增的offset偏移量数据,同时将数据保存到本地的磁盘文件中(文件内容追加的方式写入数据);Partition中的数据存活时间超过参数值(log.retention.{ms,minutes,hours},默认7天)的时候进行删除(默认)
Consumer根据offset消费对应Topic的Partition中的数据(也就是每个Consumer消费的每个Topic的Partition都拥有自己的offset偏移量)
注意:Kafka的数据消费是顺序读写的,磁盘的顺序读写速度(600MB/sec)比随机读写速度(100k/sec)快
相关文章推荐
- [Kafka] - Kafka内核理解:消息存储机制
- [Kafka] - Kafka内核理解:消息的收集/消费机制
- [Kafka] - Kafka内核理解:消息的收集/消费机制
- Kafka内核理解:消息的收集/消费机制
- [Kafka] - Kafka内核理解:分布式机制
- Kafka消息生成,消费,存储机制
- kafka的消息消费机制、consumer的负载均衡、文件存储机制
- [Kafka] - Kafka内核理解:分布式机制
- Kafka消息生成,消费,存储机制
- Kafka消息生成,消费,存储机制
- Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等(来自学习资料)
- Kafka底层存储机制 理解
- 3.Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等(来自学习资料)
- Kafka消息生成,消费,存储机制
- 由VCL中的代码理解VCL中的消息处理机制(Delphi对消息机的封装)
- Android异步消息处理机制完全解析,带你从源码的角度彻底理解
- 深入理解win32消息机制
- Android 异步消息处理机制 让你深入理解 Looper、Handler、Message三者关系
- 深入VCL 理解BCB的消息机制 (一)
- Android 异步消息处理机制 让你深入理解 Looper、Handler、Message三者关系