Kafka 学习笔记(2) - Topic 和 Log

A topic is a category or feed name to which messages are published.



每个Partition都是一个排序的和不可变的消息队列，新消息都会append到结尾，每个message都会分配一个sequential id, 叫做offset，作为message的唯一的id

注意的是Kafka的Cluster会保存在某个配置期间内(log retention)所有的message，不管它有没有被consume。超过配置期间的消息会被删除。Kafka的性能是相对稳定，不会随着size增长而增长。

每个Consumer需要自己维护自己consume的消息的offset，通过这种方式来保证读取速度而不用去考虑多个消息consumer相互之间的影响。并且，读取顺序也是每个consumer自己控制。

Consumer这种设计的好处是实现复杂度低，consumer开销小，它的添加或者删除对cluster impact比较小

Partition的设计的优点: 首先是能够允许log存储在多个节点上满足量的需求，其次它满足了并发处理的需求